[論文レビュー] HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery

Michel Deudon, Freddie Kalaitzis+8 more|arXiv (Cornell University)|Feb 15, 2020

Advanced Image Processing Techniques参考文献 42被引用数 72

ひとこと要約

HighRes-netは、衛星画像の共同登録、融合、アップサンプリング、登録済み損失を同時に学習するエンドツーエンドのマルチフレーム超解像モデルを導入し、ESA Kelvin コンペティションでトップの結果を達成しました。

ABSTRACT

Generative deep learning has sparked a new wave of Super-Resolution (SR) algorithms that enhance single images with impressive aesthetic results, albeit with imaginary details. Multi-frame Super-Resolution (MFSR) offers a more grounded approach to the ill-posed problem, by conditioning on multiple low-resolution views. This is important for satellite monitoring of human impact on the planet -- from deforestation, to human rights violations -- that depend on reliable imagery. To this end, we present HighRes-net, the first deep learning approach to MFSR that learns its sub-tasks in an end-to-end fashion: (i) co-registration, (ii) fusion, (iii) up-sampling, and (iv) registration-at-the-loss. Co-registration of low-resolution views is learned implicitly through a reference-frame channel, with no explicit registration mechanism. We learn a global fusion operator that is applied recursively on an arbitrary number of low-resolution pairs. We introduce a registered loss, by learning to align the SR output to a ground-truth through ShiftNet. We show that by learning deep representations of multiple views, we can super-resolve low-resolution signals and enhance Earth Observation data at scale. Our approach recently topped the European Space Agency's MFSR competition on real-world satellite imagery.

研究の動機と目的

• 環境モニタリングと政策意思決定を支援するため、MFSRを通じた衛星画像の現実的で信頼性の高い向上を動機づける。
• 任意数のLRフレームの共登録と融合を処理するエンドツーエンドアーキテクチャを開発する。
• 訓練中にSR出力をHRのグラウンドトゥルースと一致させるため、ShiftNet-Lanczosによる登録損失を導入する。
• 実世界のPROBA-V衛星データと競技ベンチマークで最先端の性能を示す。

提案手法

• 各LRビューを共有参照フレームでエンコードして、暗黙の共登録を可能にする。
• エンコードされた表現を再帰的に融合して単一のグローバル潜在表現を生成し、ビュー数の可変性をサポートする。
• 融合された潜在表現をデコードしてアップサンプリングし、超解像画像を生成する。
• エンドツーエンド訓練中に微小シフトを学習させるため、ShiftNet-Lanczosを用いて微分可能な登録損失を得る。
• 登録再構成損失と正則化されたシフトペナルティを結合したジョイント損失を最小化するよう、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 任意のLRビュー集合から、エンドツーエンドの深層アーキテクチャがMFSRの共登録と融合を学習できるか。
• RQ2 ShiftNet-Lanczosによる登録損失を導入することで、非登録損失よりSR品質が向上するか。
• RQ3 ESA Kelvin競技のベースラインと比べて実データ上のHighRes-netの性能はどうか。
• RQ4 入力ビュー数が再構成品質と一般化能力に与える影響は何か。

主な発見

• ShiftNet-Lanczosを用いたHighRes-netはESA Kelvinの公開リーダーボードおよび最終リーダーボードでトップスコアを達成した。
• このアプローチは融合と登録を共同で学習し、MFSRのエンドツーエンド最適化を実現する。
• 参照フレームを介した暗黙の共登録機構は、明示的な登録モジュールなしで融合を改善する。
• 登録損失を用いたエンドツーエンド訓練は、ベースラインよりシャープで正確なSR出力を生む。
• PROBA-V実データでの学習は合成ダウンサンプリングによる偏りを避け、スケーラビリティと効率を示す。