[論文レビュー] SeeingGAN: Galactic image deblurring with deep learning for better morphological classification of galaxies

Fang Kai Gan, Kenji Bekki+1 more|arXiv (Cornell University)|Mar 17, 2021

Image Processing Techniques and Applications参考文献 2被引用数 4

ひとこと要約

この論文では、地上望遠鏡の銀河画像をシャープナップし、ハッブル宇宙望遠鏡（HST）に類似した鮮明さを実現する深層学習ベースの生成的対抗ネットワーク（GAN）であるSeeingGANを紹介する。ペア化されたSubaru-HST画像を用いた学習により、SeeingGANは細部構造（例：渦巻き腕、棒構造）の可視性を向上させ、元の曇った画像と比較してCW-SSIMで18%の向上を達成し、物理的望遠鏡改造なしで形態分類の正確性を顕著に向上させた。

ABSTRACT

Classification of galactic morphologies is a crucial task in galactic astronomy, and identifying fine structures of galaxies (e.g., spiral arms, bars, and clumps) is an essential ingredient in such a classification task. However, seeing effects can cause images we obtain to appear blurry, making it difficult for astronomers to derive galaxies' physical properties and, in particular, distant galaxies. Here, we present a method that converts blurred images obtained by the ground-based Subaru Telescope into quasi Hubble Space Telescope (HST) images via machine learning. Using an existing deep learning method called generative adversarial networks (GANs), we can eliminate seeing effects, effectively resulting in an image similar to an image taken by the HST. Using multiple Subaru telescope image and HST telescope image pairs, we demonstrate that our model can augment fine structures present in the blurred images in aid for better and more precise galactic classification. Using our first of its kind machine learning-based deblurring technique on space images, we can obtain up to 18% improvement in terms of CW-SSIM (Complex Wavelet Structural Similarity Index) score when comparing the Subaru-HST pair versus SeeingGAN-HST pair. With this model, we can generate HST-like images from relatively less capable telescopes, making space exploration more accessible to the broader astronomy community. Furthermore, this model can be used not only in professional morphological classification studies of galaxies but in all citizen science for galaxy classifications.

研究の動機と目的

• 大気の視界によるぼやけが地上望遠鏡の銀河画像に与える影響を軽減し、形態分類に不可欠な細部構造を明らかにすること。
• 物理的望遠鏡改造なしに、ぼやけたSubaru望遠鏡の画像をHSTに類似した復元画像に変換する深層学習ベースの手法を開発すること。
• 画像の鮮明度向上により、自動分類および市民科学者による銀河分類の正確性と信頼性を向上させること。
• GANベースの画像変換が、天文学的画像における視界効果を効果的に軽減できることを示すこと。
• 将来的な調査に向け、専門家および一般大衆の両方の天文学的プロジェクトに高品質な銀河画像へのアクセスを広く可能にすること。

提案手法

• 本手法は、ぼやけたSubaru望遠鏡画像（入力）と鮮明なハッブル宇宙望遠鏡（HST）画像（出力）のペアを用いて学習する条件付き生成的対抗ネットワーク（cGAN）を採用する。
• 生成器ネットワークは、ペルセプチュアル損失と対抗損失を最小化することで、ぼやけた銀河画像をHSTに類似した復元画像にマッピングする学習を行う。
• 識別器ネットワークは、実際のHST画像と生成された復元画像を区別することで、写実的な忠実度を促進する。
• ピクセル単位のL1損失、ペルセプチュアル損失、対抗損失の組み合わせを用いてモデルを学習させ、構造的およびテクスチャ的詳細を保持する。
• 学習データは、アライメント済みのSubaru-HST画像ペアで構成され、データ正規化とデータ拡張処理が施されている。
• 推論フェーズでは、学習済みの生成器を未学習のSubaru画像に適用し、迅速かつ効率的に復元画像を出力する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、地上望遠鏡の銀河画像をHSTに類似した鮮明さに復元できるか？
• RQ2 復元処理によって、渦巻き腕、棒構造、凝集体のような細部構造の検出はどの程度向上するか？
• RQ3 構造的類似度指標を用いて、復元画像と元のぼやけた画像を定量的に比較すると、性能はどの程度向上するか？
• RQ4 十分なペア画像データが得られれば、VLTやKeckなどの他の地上望遠鏡に対しても同様の手法を一般化できるか？
• RQ5 復元画像は、自動分類および市民科学者による銀河分類の正確性を向上させられるか？

主な発見

• SeeingGANは、元のSubaru画像と比較して、HSTリファレンス画像を基準にした複雑ウェーブレット構造的類似度指数（CW-SSIM）で18%の向上を達成した。
• SeeingGANが生成する復元画像は、元のぼやけた画像では不明瞭な場合が多い、渦巻き腕、棒構造、潮汐尾などの細部構造の可視性が顕著に向上している。
• 大気の視界による高周波成分の損失を効果的に回復しており、未学習の銀河画像に対しても強い汎化性能を示した。
• SeeingGANの推論速度は、大規模な銀河画像ライブラリの処理に十分速く、将来的な調査へのスケーラブルな応用を可能にしている。
• 本手法は移植可能である：十分なペアデータが得られれば、VLT、Keck、またはSDSSなどの他の地上望遠鏡に対しても同様のモデルを構築可能である。
• 結果から、元のぼやけた画像ではS0型と分類された銀河が、復元後に渦巻き銀河に再分類される可能性があることが示唆され、銀河の進化や形態密度に関する研究に影響を与える。