[論文レビュー] The SARptical Dataset for Joint Analysis of SAR and Optical Image in Dense Urban Area

Yuanyuan Wang, Xiao Xiang Zhu|arXiv (Cornell University)|Jan 23, 2018

Synthetic Aperture Radar (SAR) Applications and Techniques参考文献 3被引用数 3

ひとこと要約

本論文は、TerraSAR-XおよびUltraCAMデータからの高分解能SARおよび光学画像パッチを10,000組以上含むSARpticalデータセットを紹介する。このデータセットは、幾何的歪み（特にレイオーバー効果）があるにもかかわらず、密集した都市部における共同解析を可能にし、深層学習に基づく画像マッチングを支援することで、正確な3次元再構築と複数モodal間の散乱体マッチングを実現する。

ABSTRACT

The joint interpretation of very high resolution SAR and optical images in dense urban area are not trivial due to the distinct imaging geometry of the two types of images. Especially, the inevitable layover caused by the side-looking SAR imaging geometry renders this task even more challenging. Only until recently, the "SARptical" framework [1], [2] proposed a promising solution to tackle this. SARptical can trace individual SAR scatterers in corresponding high-resolution optical images, via rigorous 3-D reconstruction and matching. This paper introduces the SARptical dataset, which is a dataset of over 10,000 pairs of corresponding SAR, and optical image patches extracted from TerraSAR-X high-resolution spotlight images and aerial UltraCAM optical images. This dataset opens new opportunities of multisensory data analysis. One can analyze the geometry, material, and other properties of the imaged object in both SAR and optical image domain. More advanced applications such as SAR and optical image matching via deep learning [3] is now also possible.

研究の動機と目的

• 密集した都市部における超高解像度SARおよび光学画像の共同解釈の課題に対処すること。
• 側方指向SAR画像に固有のレイオーバー効果を含む幾何的歪みを克服すること。
• SARの個々の散乱体を光学画像の対応する特徴と正確にマッチングできること。
• マルチセンサデータ解析および深層学習応用を支援する大規模かつ高品質なデータセットを提供すること。
• 厳密な3次元再構築を通じて、頑健なSAR-光学画像マッチング技術の開発を促進すること。

提案手法

• データセットは、ペア化されたTerraSAR-XスポットライトSAR画像とUltraCAM航空光学画像から構築される。
• 画像パッチは、SARと光学ドメイン間の対応関係を保証するよう、正確な空間整合性をもって抽出される。
• 3次元再構築が実施され、都市構造をモデル化し、レイオーバー効果を解消する。
• 幾何的および放射的整合性を用いて、SARの散乱体を光学画像の対応する特徴に追跡・マッチングする。
• 異なる撮影幾何構造に対しても、厳密な幾何モデリングを活用してSARと光学データを整合させるフレームワークが採用される。
• 深層学習ベースの手法を含む、SAR-光学マッチングパイプラインのエンドツーエンド評価をサポートする。

実験結果

リサーチクエスチョン

• RQ1 顕著な幾何的歪みがあるにもかかわらず、どのようにしてSARと光学画像を密集した都市部で効果的に整合させることができるか？
• RQ2 個々のSAR散乱体は、高分解能光学画像の特徴とどの程度正確に追跡・マッチングできるか？
• RQ3 3次元再構築は、都市環境におけるSAR-光学画像マッチングの精度をどの程度向上させるか？
• RQ4 大規模なペア化データセットの存在は、SAR-光学マッチングのための深層学習モデルの性能をどのように向上させるか？
• RQ5 都市シーンにおける信頼性の高いクロスモーダル特徴マッチングを可能にする、主な幾何的および放射的特性は何か？

主な発見

• SARpticalデータセットには、TerraSAR-XおよびUltraCAMからの10,000組以上のペア画像パッチが含まれており、包括的なマルチセンサ解析を可能にする。
• このデータセットは、正確な3次元再構築を支援し、レイオーバー効果の解消と散乱体マッチング精度の向上を実現する。
• フレームワークにより、幾何的整合性を基に、SARの個々の散乱体を光学画像の対応する特徴に信頼性高く追跡できる。
• このデータセットは、深層学習ベースのSAR-光学画像マッチングといった高度な応用を促進する。
• このデータセットの提供により、マルチモーダル都市シーン理解およびクロスセンサデータ統合分野における新たな研究分野が開かれる。