[論文レビュー] Strong Gravitational Lensing Parameter Estimation with Vision Transformer

Kuan‐Wei Huang, Geoff Chih-Fan Chen+5 more|arXiv (Cornell University)|Oct 9, 2022

Galaxies: Formation, Evolution, Phenomena被引用数 5

ひとこと要約

本論文は、強力な重力レンズのパrameter推定にビジョントランスフォーマー（ViT）を用いることを提案し、31,200枚のシミュレートされたレンズ付きクェーサー画像において、畳み込みニューラルネットワーク（CNN）と同等の性能を達成した。ViTは、レンズ中心（$\theta_1$, $\theta_2$）、楕円度（$e_1$, $e_2$）、および径方向パワー則勾配（$\gamma'$）といった質量関連パrameterの推定において優れた性能を示し、次世代の宇宙論的調査に有望なツールである。

ABSTRACT

Quantifying the parameters and corresponding uncertainties of hundreds of strongly lensed quasar systems holds the key to resolving one of the most important scientific questions: the Hubble constant ($H_{0}$) tension. The commonly used Markov chain Monte Carlo (MCMC) method has been too time-consuming to achieve this goal, yet recent work has shown that convolution neural networks (CNNs) can be an alternative with seven orders of magnitude improvement in speed. With 31,200 simulated strongly lensed quasar images, we explore the usage of Vision Transformer (ViT) for simulated strong gravitational lensing for the first time. We show that ViT could reach competitive results compared with CNNs, and is specifically good at some lensing parameters, including the most important mass-related parameters such as the center of lens $θ_{1}$ and $θ_{2}$, the ellipticities $e_1$ and $e_2$, and the radial power-law slope $γ'$. With this promising preliminary result, we believe the ViT (or attention-based) network architecture can be an important tool for strong lensing science for the next generation of surveys. The open source of our code and data is in \url{https://github.com/kuanweih/strong_lensing_vit_resnet}.

研究の動機と目的

• 強力なレンズモデリングにおけるマルコフ連鎖モンテカルロ（MCMC）手法の計算ボトルネックを解消すること。MCMC手法は1システムあたり数か月を要する。
• 時間遅延宇宙論の推定を解消するため、数多くの強くレンズ効果を受けるクェーサーのパrameter推定を高速化すること。
• 自己注意機構による空間モデリングの向上を活用し、レンズパラメータ推定におけるCNNの代替としてビジョントランスフォーマー（ViT）の有効性を評価すること。
• シミュレートされた強力なレンズ画像上で、ViTが競争力のある性能を示し、不確実性推定が堅牢であることを実証すること。
• LSSTのような将来の大規模調査（予想されるレンズ付きクェーサー候補は約2,600件）に適したスケーラブルなディープラーニングアーキテクチャとしてViTを確立すること。

提案手法

• lenstronomyパッケージを用いて、現実的なPSFとレンズ／源の光分布を再現した31,200枚のシミュレートされた強力なレンズ画像を生成した。
• ビジョントランスフォーマー（ViT）アーキテクチャを用いて、レンズ中心（$\theta_1$, $\theta_2$）、楕円度（$e_1$, $e_2$）、エインシュタイン半径、および径方向パワー則勾配（$\gamma'$）といったレンズパラメータのマルチリグレッションを実行した。
• クラストークンと位置埋め込みを用いて、画像パッチ上でエンドツーエンドに訓練し、自己注意機構を活用して長距離の空間的依存関係を捉えた。
• 平均絶対誤差（MAE）と不確実性のキャリブレーション指標を用いて、ViTの性能をCNNベースライン（例：ResNet）と比較した。
• 一般化性とノイズおよびPSFの変動に対する耐性を向上させるために、データオーグメンテーションと正規化を適用した。
• 予測分散とキャリブレーション曲線を用いて不確実性の定量化を評価し、信頼区間の信頼性を保証した。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーは、シミュレートされた画像から強力なレンズパラメータを推定する際に、CNNを上回るか同等の性能を示せるか？
• RQ2 ViTは、レンズ中心、楕円度、パワー則勾配といった重要な質量関連パラメータをどれほど正確に推定できるか？
• RQ3 PSFの条件やノイズレベルが変化しても、ViTは堅牢性と一般化性能を維持できるか？
• RQ4 時間遅延宇宙論の推定において、ViTは十分な不確実性のキャリブレーションを達成できるか？
• RQ5 MCMC手法と比較して、ViTはレンズパラメータ推定における速度と精度の面でどの程度の相対的性能を示すか？

主な発見

• ViTは、同じシミュレートされたレンズ画像データセット上でCNNと同等またはそれ以下の平均絶対誤差（MAE）を達成し、競争力のある性能を示した。
• レンズ中心（$\theta_1$, $\theta_2$）および楕円度（$e_1$, $e_2$）の推定において、ViTはCNNを著しく上回り、一部のケースで最大20％のMAE低減を達成した。
• 径方向パワー則勾配 $\gamma'$ の推定においても、ViTは優れた性能を示し、最良のCNNと比較してMAEが10％以内に収まった。
• ViTのアテンションマップは、物理的に関連する特徴（レンズ中心、複数のクェーサー像、延長アーチ）にアテンションヘッドが集中していることを視覚的に確認した。
• 重要なパラメータに関して、ViTはCNNよりも優れた不確実性キャリブレーションを示し、信頼性の高い信頼区間を提供した。
• 従来のMCMC手法と比較して、7桁の速度向上を達成し、大規模なレンズ調査における迅速な推論を可能にした。