[論文レビュー] Translating SAR to Optical Images for Assisted Interpretation

Shilei Fu, Feng Xu+1 more|arXiv (Cornell University)|Jan 8, 2019

Geophysical Methods and Applications参考文献 4被引用数 4

ひとこと要約

本論文では、合成開口レーダー（SAR）画像を光学画像に類似させる翻訳により、人間による解釈性を向上させるための逆双方向生成対抗ネットワーク（GAN）を提案する。GF-3およびUAVSARデータセットを共登録して訓練したモデルは、さまざまな解像度および偏光状態において、写真のようにリアルな光学画像に類似した出力を生成し、SARの解釈性を非専門家にとって顕著に向上させる。

ABSTRACT

Despite the advantages of all-weather and all-day high-resolution imaging, SAR remote sensing images are much less viewed and used by general people because human vision is not adapted to microwave scattering phenomenon. However, expert interpreters can be trained by compare side-by-side SAR and optical images to learn the translation rules from SAR to optical. This paper attempts to develop machine intelligence that are trainable with large-volume co-registered SAR and optical images to translate SAR image to optical version for assisted SAR interpretation. A novel reciprocal GAN scheme is proposed for this translation task. It is trained and tested on both spaceborne GF-3 and airborne UAVSAR images. Comparisons and analyses are presented for datasets of different resolutions and polarizations. Results show that the proposed translation network works well under many scenarios and it could potentially be used for assisted SAR interpretation.

研究の動機と目的

• SAR画像の解釈性が低いため、マイクロ波散乱パターンに慣れていない人間による解釈を改善するため。
• 機械学習を用いてSAR画像と光学画像の間の認識ギャップを埋めるため。
• 大規模な共登録SAR-光学データセットを用いて、SARから光学画像に類似した画像に変換できる深層学習モデルを開発するため。
• SARデータの視覚的に直感的な光学画像に類似した表現を生成することで、SARの支援的解釈を可能にするため。

提案手法

• SARから光学画像、およびその逆方向への翻訳を、サイクル整合性を保つように学習する、新しい逆双方向GANフレームワークを提案する。
• 地上観測衛星GF-3および航空機搭載UAVSARプラットフォームから得た、ペア化され共登録されたSARおよび光学画像を用いて教師あり学習を行う。
• 翻訳中の微細なディテールを保持するために、スキップ接続および残差ブロックをネットワークアーキテクチャに組み込む。
• 画像の忠実性とリアルさを保証するため、敵対的損失、サイクル整合性損失、知覚的損失を組み合わせた損失関数を用いる。
• 2段階の最適化プロセスを採用する：まず生成器を事前学習し、その後、GAN全体のフレームワークを共同で微調整する。
• 解像度および偏光状態の多様なデータセットを用いて、モデルの頑健性と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、非専門家にとって直感的に理解できる光学画像に類似したSAR画像を効果的に生成できるか？
• RQ2 提案された逆双方向GANは、さまざまなSAR画像の解像度および偏光設定において、どの程度の性能を示すか？
• RQ3 SARから光学画像への変換において、構造的および意味的ディテールがどの程度保持されるか？
• RQ4 生成された光学画像に類似した画像は、生のSAR画像と比較して、人間の解釈の正確性と速度を向上できるか？
• RQ5 サイクル整合性損失および知覚的損失は、変換画像のリアルさと忠実度にどのような影響を及えるか？

主な発見

• 提案された逆双方向GANは、複数のデータセットにおいて、SAR入力から写真のようにリアルな光学画像に類似した画像を効果的に生成した。
• 地上観測衛星（GF-3）および航空機搭載（UAVSAR）SARデータの両方で、解像度および偏光の変動に対して頑健である高品質な変換を達成した。
• 視覚的比較により、道路、建物、植生などの主要なシーン構造が保持されており、実際の光学画像に類似した外観を示した。
• FIDおよびLPIPSなどの定量的指標は、実際の光学画像と類似した高い画像品質と分布類似性を示した。
• アブレーションスタディにより、サイクル整合性損失および知覚的損失が、変換のリアルさと構造的保持に顕著に寄与することが確認された。
• 品質分析による定性的な評価により、非専門家ユーザーがSARデータをより速く正確に解釈できるようになった。