[論文レビュー] Machine learning astrophysics from 21 cm lightcones: impact of network architectures and signal contamination

David Prelogović, Andrei Mesinger+3 more|arXiv (Cornell University)|Jun 30, 2021

Radio Astronomy Observations and Technology被引用数 5

ひとこと要約

この論文は、宇宙の夜明けおよび再電離時代の21 cm光錐シミュレーションからのパラメータ推定を改善するために、再帰的ニューラルネットワーク（RNN）、特にLSTMベースのアーキテクチャを導入する。実験では、クリーンな信号において、シンプルなRNNが従来のCNNを平均二乗誤差（MSE）で2倍以上上回り、先行研究のCNN手法と比較して最大8倍の性能向上を達成している。また、現実的なSKAに類似したノイズやフォアグラウンド汚染に対しても、安定した性能を示している。

ABSTRACT

Imaging the cosmic 21 cm signal will map out the first billion years of our Universe. The resulting 3D lightcone (LC) will encode the properties of the unseen first galaxies and physical cosmology. Here, we build on previous work using neural networks (NNs) to infer astrophysical parameters directly from 21 cm LC images. We introduce recurrent neural networks (RNNs), capable of efficiently characterizing the evolution along the redshift axis of 21 cm LC images. Using a large database of simulated cosmic 21 cm LCs, we compare the relative performance in parameter estimation of different network architectures. These including two types of RNNs, which differ in their complexity, as well as a more traditional convolutional neural network (CNN). For the ideal case of no instrumental effects, our simplest and easiest to train RNN performs the best, with a mean squared parameter estimation error (MSE) that is lower by a factor of $\ge 2$ compared with the other architectures studied here, and a factor of $\ge 8$ lower than the previously-studied CNN. We also corrupt the cosmic signal by adding noise expected from a 1000 h integration with the Square Kilometre Array, as well as excising a foreground-contaminated 'horizon wedge'. Parameter prediction errors increase when the NNs are trained on these contaminated LC images, though recovery is still good even in the most pessimistic case (with $R^2 \ge 0.5-0.95$). However, we find no notable differences in performance between network architectures on the contaminated images. We argue this is due to the size of our data set, highlighting the need for larger data sets and/or better data augmentation in order to maximize the potential of NNs in 21 cm parameter estimation.

研究の動機と目的

• 深層学習を用いて21 cm光錐シミュレーションからの宇宙物理学的パラメータ推定を改善すること。
• 赤方偏移の進化を周波数軸に沿ってモデル化するRNNが、21 cmデータ内の時間的相関を捉える上で、標準的なCNNを上回るかを調査すること。
• 機器ノイズとフォアグラウンド汚染（水平面ウィンドウの除外を伴い）がニューラルネットワークの性能に与える影響を評価すること。
• 現実的な信号劣化下で、アーキテクチャの違いが性能に顕著に影響を与えるかを検証すること。
• 汚染下で高度なアーキテクチャの性能向上が制限される要因として、データセットサイズがどの程度寄与するかを検討すること。

提案手法

• 大規模な21 cm光錐シミュレーションデータベースを用いて、2種類のRNN（LSTMベース）および2次元CNNを含む複数のニューラルネットワークアーキテクチャを訓練する。
• ハイブリッドアーキテクチャを採用：2次元CNNがスカイプレーン内の相関を処理し、RNNが周波数軸に沿った赤方偏移の進化をモデル化する。
• 4つの主要な宇宙物理学的パラメータ（電離効率ζ、準位温度Tvir、星形成率あたりのX線放射度LX/SFR、X線スペクトル指数E0）を予測するために、平均二乗誤差（MSE）の最小化によりモデルを訓練する。
• 3段階の汚染レベルを適用：(i) クリーン信号（平均値除去済み）、(ii) +SKA1-Lowに類似したノイズ、(iii) +フォアグラウンドウィンドウの除外。
• 勾配のセンチネルマップを用いて、モデルの注目メカニズムを解釈し、学習された特徴量の物理的妥当性を検証する。
• テストセットにおける決定係数（R²）とMSEを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNは、赤方偏移の進化を活用することで、21 cm光錐からの宇宙物理学的パラメータ推定において、標準的なCNNを上回ることができるか？
• RQ2 現実的な機器ノイズとフォアグラウンド汚染の追加が、異なるニューラルネットワークアーキテクチャの性能に与える影響は何か？
• RQ3 アーキテクチャの複雑さ（例：深層RNN対単純RNN）が、汚染下でのパラメータ推定精度に顕著な影響を与えるか？
• RQ4 ニューラルネットワークが学習した表現は物理的に解釈可能であり、関連する宇宙物理学的時代（例：EoRやEoH）に注目しているか？
• RQ5 信号汚染下で、高度なアーキテクチャの性能向上がどの程度データセットサイズの制限によって妨げられるか？

主な発見

• 最もシンプルなRNNアーキテクチャ、SummaryRNNは、同等の深さのCNNと比較して平均二乗誤差（MSE）を約2倍低く抑え、先行研究（Gillet et al. 2019）で用いられた浅いCNNと比較して最大約8倍の改善を達成した（同じクリーン信号データベース上）。
• 最も悲観的な汚染シナリオ（SKAに類似したノイズと水平面ウィンドウ除外）下でも、パラメータ予測は妥当に保たれ、各パラメータの決定係数（R²）は0.53〜0.97の範囲で変動した。
• 汚染済みデータで訓練した場合、アーキテクチャ間で顕著な性能差は観察されず、汚染下ではアーキテクチャの選択が重要でないことが示唆された。
• 汚染済みデータでのアーキテクチャ差の不在は、トレーニングデータセットのサイズが限界に近いことに起因するとされ、より大きなデータセットまたはより効果的なデータ拡張の必要性が示唆された。
• 勾配のセンチネルマップにより、ネットワークが物理的に関連する特徴量を学習していることが確認され、各パラメータに対して適切な赤方偏移時代（例：EoRやEoH）に注目していることが示され、モデルの解釈可能性が裏付けられた。
• 本研究は、RNNが赤方偏移軸に沿った逐次的相関を効率的にモデル化できることから、理想的な状況下で標準的なCNNを上回る性能を示すことが明らかになった。