[論文レビュー] Generative Adversarial Networks for Synthesizing InSAR Patches

Philipp Sibler, Yuanyuan Wang+3 more|arXiv (Cornell University)|Aug 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 4

ひとこと要約

本稿では、条件付きGANフレームワークにおいて、標準的な実数値畳み込みニューラルネットワーク（CNN）を用いて複素数値InSARピクチャーマップ合成を可能にする、新規のニキシークスマッピング方式を提案する。CNNの信号処理特性をモデル化し、位相整合性を最適化する損失関数を設計することで、低位相ノイズと高い知覚的品質を実現し、トレーニングおよびデータ拡張のための合成InSARデータ生成を可能にする。

ABSTRACT

Generative Adversarial Networks (GANs) have been employed with certain success for image translation tasks between optical and real-valued SAR intensity imagery. Applications include aiding interpretability of SAR scenes with their optical counterparts by artificial patch generation and automatic SAR-optical scene matching. The synthesis of artificial complex-valued InSAR image stacks asks for, besides good perceptual quality, more stringent quality metrics like phase noise and phase coherence. This paper provides a signal processing model of generative CNN structures, describes effects influencing those quality metrics and presents a mapping scheme of complex-valued data to given CNN structures based on popular Deep Learning frameworks.

研究の動機と目的

• 高い位相整合性を有する現実的な複素数値InSAR画像ピクチャーマップを生成するための有効な手法の欠如に応える。
• GANアーキテクチャにおいて、実数値ディープラーニングフレームワークを複素数値SARデータを処理できるように適応する課題を克服する。
• 画像合成中の位相および振幅歪みを理解・制御できるよう、CNNの信号処理モデルを構築する。
• 従来のネットワークアーキテクチャを変更せずに、複素数値テンソルへの直接再利用を可能にする、新規のマッピング方式「ニキシークスマッピング」を提案する。
• 実際のInSAR画像ピクチャーマップと合成されたInSAR画像ピクチャーマップ間の位相整合性を高めるために、損失関数を最適化し、干渉応用における忠実度を向上させる。

提案手法

• 平坦な地球、一定の反射率、線形位相応答を仮定した簡略化された単周波数InSAR画像化モデルを定式化し、ターゲット信号特性を定義する。
• トレーニング可能なカーネル、バイアス項、非線形活性化関数（例：ReLU）を備えた階層的フィルターバンクとしてCNNをモデル化し、ネットワーク内での信号変換を分析可能にする。
• 複素数値テンソルを実数値テンソルにマッピングするニキシークスマッピング方式を導入。実部と虚部を交互に配置することで、複素数構造を保持するとともに、標準的な実数値CNNとの互換性を確保する。
• 生成器がソース画像（例：強度または振幅）を入力とし、一貫性のある位相パターンを持つ複素数値InSARピクチャーマップを合成する、条件付きGANを実装する。
• 実際のInSAR画像ペアと生成されたInSAR画像ペア間の位相整合性を高めるために、位相ノイズを最小化することを目的とした特別な損失関数を設計・適用する。
• 合成された単周波数シーン、実際のSentinel-1 InSARデータ、およびシミュレーテッドSARシーンを用いて評価し、多様な条件下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 実数値ディープラーニングフレームワークを、忠実度の高い複素数値InSARピクチャーマップを生成できるように効果的に適応できるか？
• RQ2 CNN内の信号処理効果の中で、合成されたInSARデータにおける位相ノイズと位相整合性に最も顕著に影響を与える要因は何か？
• RQ3 新規のマッピング方式により、アーキテクチャの変更なしに、既存の実数値CNN実装を複素数値データに再利用可能か？
• RQ4 提案された損失関数は、実際のInSAR画像ピクチャーマップと生成されたInSAR画像ピクチャーマップ間の位相整合性をどの程度効果的に向上させるか？
• RQ5 ニキシークスマッピング方式は、従来の複素数値CNNアプローチに比べ、知覚的品質および位相安定性の面でどの程度優れているか？

主な発見

• ニキシークスマッピング方式により、元のネットワークアーキテクチャを変更せずに、標準的な実数値CNNを複素数値InSARピクチャーマップ生成に使用可能であることが実証された。
• CNNの信号処理モデルから、フィルターバンクの動作と非線形活性化関数が、生成されたInSARデータにおける位相歪みとノイズに顕著に影響することが明らかになった。
• 実験結果から、限られた実データで学習した場合でも、提案手法が低位相ノイズと高い位相整合性を有する合成InSARピクチャーマップを達成していることが示された。
• 位相整合性に特化した損失関数の使用により、ベースラインGANと比較して、生成されたInSARスタックの忠実度に顕著な向上が見られた。
• 本手法は、合成された単周波数シーンおよび実際のSentinel-1 InSARデータの両方で、強固な性能を示し、実世界の遠隔測定タスクへの適用可能性を検証した。
• 本手法により、基準点やシーンタイプなどの制御可能なパrameterを有する多様で現実的な合成ピクチャーマップを生成することで、InSAR分類器のスケーラブルなデータ拡張が可能になった。