[論文レビュー] Domain adaptation techniques for improved cross-domain study of galaxy mergers

Aleksandra Ćiprijanović, Diana Kafkes+6 more|arXiv (Cornell University)|Nov 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 5

ひとこと要約

本論文では、シミュレートされたデータで訓練された銀河合体分類器の性能を、実観測データへの適用時に向上させるためにドメイン適応技術—最大平均差分（MMD）とドメイン adversarial ニューラルネットワーク（DANN）—を用いることを提案する。観測ノイズに起因するドメインシフトを低減することで、両手法とも、ベースラインの約57%から約78–79%にターゲットドメインの精度を著しく向上させ、天文学におけるクロスドメインディープラーニングの強力な可能性を示している。

ABSTRACT

In astronomy, neural networks are often trained on simulated data with the prospect of being applied to real observations. Unfortunately, simply training a deep neural network on images from one domain does not guarantee satisfactory performance on new images from a different domain. The ability to share cross-domain knowledge is the main advantage of modern deep domain adaptation techniques. Here we demonstrate the use of two techniques - Maximum Mean Discrepancy (MMD) and adversarial training with Domain Adversarial Neural Networks (DANN) - for the classification of distant galaxy mergers from the Illustris-1 simulation, where the two domains presented differ only due to inclusion of observational noise. We show how the addition of either MMD or adversarial training greatly improves the performance of the classifier on the target domain when compared to conventional machine learning algorithms, thereby demonstrating great promise for their use in astronomy.

研究の動機と目的

• シミュレートされたデータで訓練された銀河合体分類器が、観測データに適用された際の性能低下を、ドメインシフトの要因として解消すること。
• MMDとDANNというドメイン適応技術が、シミュレートされた（ソース）ドメインとノイズを含む実際の（ターゲット）ドメインの間のギャップを埋める有効性を評価すること。
• ドメイン間の唯一の違いが観測ノイズの有無である場合に、これらの技術がターゲットドメインでの分類性能を向上させるかどうかを検証すること。
• 軽量なDeepMergeとより深いResNet18という2つのニューラルネットワークアーキテクチャが、ドメイン適応を適用した状況下で、クロスドメイン銀河合体分類タスクにおいてどのように性能を発揮するかを比較すること。

提案手法

• モデルは、分類器損失（交差エントロピー）と転送損失を組み合わせた総損失関数を用いて訓練され、ハイパーパrameter λ_TL で重み付けされる。
• MMDの場合、特徴表現の平均を再帰的核ヒルベルト空間（RKHS）内で一致させることで、ソースドメインとターゲットドメイン間の分布的差異を最小化する。
• DANNの場合、特徴がソースドメインかターゲットドメインかを分類するドメイン識別器を敵対的に訓練し、同時に特徴エンコーダーはそれをだませるように訓練することで、ドメイン不変の表現を促進する。
• ソースドメインは、赤方偏移 z=2 におけるノイズなしのIllustris-1 シミュレート銀河画像から構成され、ターゲットドメインには同様の画像にハッブルに類似したショットノイズが追加されている。
• アーキテクチャ依存性を評価するために、軽量なDeepMergeとより深いResNet18の2つのネットワークを用いてアプローチを評価した。
• ハイパーパrameterチューニングが実施され、結果は10個のランダムシードに対する平均 ± 標準偏差として報告され、妥当性を確保した。

実験結果

リサーチクエスチョン

• RQ1 MMD や DANN といったドメイン適応技術は、シミュレートされた銀河画像で訓練された分類器を実観測データに適用する際の性能低下を効果的に低減できるか？
• RQ2 観測ノイズの追加によるドメインシフトのみが原因である場合に、MMD と DANN はターゲットドメインでの分類精度向上においてどのように比較されるか？
• RQ3 ドメイン適応による性能向上は、DeepMerge と ResNet18 といったニューラルネットワークアーキテクチャの選択に依存するか？
• RQ4 ドメイン適応技術はハイパーパrameterの選択にどれほど感受的であり、異なるランダムシード間でも安定した性能が得られるか？

主な発見

• ドメイン適応を適用しない場合、ターゲットドメインでの分類器の精度は57.0% ± 5.2%にとどまり、ランダムな推論よりわずかに高いにとどまる。
• MMDを適用した場合、ターゲットドメインの精度は77.3% ± 0.6%に向上し、ベースラインと比べて顕著な向上が見られた。
• 敵対的訓練（DANN）を適用した場合、ターゲットドメインの精度は78.9% ± 0.5%に達し、この設定ではベースラインおよびMMDを上回った。
• ソースドメインの精度は、すべての手法で高い水準を維持していた—適応なしでは83.6%、MMDでは86.6%、DANNでは86.5%—、訓練ドメインでの性能劣化は見られなかった。
• ランダムシードの選択に対して性能が安定しており、10回の実験における標準偏差が小さく、学習ダイナミクスの安定性が示された。
• 結果から、ドメイン適応技術が、観測ノイズに起因するドメインシフトによって引き起こされる性能低下を、天体画像分類の分野で効果的に緩和できることを示している。