[論文レビュー] Convolutional Neural Processes for Inpainting Satellite Images

Alexander Pondaven, Märt Bakler+4 more|arXiv (Cornell University)|May 24, 2022

Medical Image Segmentation Techniques被引用数 5

ひとこと要約

本稿では、スキャンライン障害によって欠落するLANDSAT 7衛星画像の欠損データを補完するために、畳み込みニューラルプロセス（ConvNPs）の使用を提案する。各画像を個別のメタラーニングタスクとして扱うことで、ConvNPsは空間的・時系列的構造を活用し、従来の手法および深層学習手法を上回る性能を発揮し、最小限の学習データで分布内および分布外の画像において最先端の性能を達成する。

ABSTRACT

The widespread availability of satellite images has allowed researchers to model complex systems such as disease dynamics. However, many satellite images have missing values due to measurement defects, which render them unusable without data imputation. For example, the scanline corrector for the LANDSAT 7 satellite broke down in 2003, resulting in a loss of around 20\% of its data. Inpainting involves predicting what is missing based on the known pixels and is an old problem in image processing, classically based on PDEs or interpolation methods, but recent deep learning approaches have shown promise. However, many of these methods do not explicitly take into account the inherent spatiotemporal structure of satellite images. In this work, we cast satellite image inpainting as a natural meta-learning problem, and propose using convolutional neural processes (ConvNPs) where we frame each satellite image as its own task or 2D regression problem. We show ConvNPs can outperform classical methods and state-of-the-art deep learning inpainting models on a scanline inpainting problem for LANDSAT 7 satellite images, assessed on a variety of in and out-of-distribution images.

研究の動機と目的

• 機械的故障（例：LANDSAT 7のスキャンラインコントローラーの故障）に起因する衛星画像における欠損データの課題に対処すること。
• 衛星画像に内在する空間的・時系列的構造を明示的にモデル化することで、画像補完の性能を向上させること。
• 地球全域にわたるグローバルな補完ソリューションを、少数のショットメタラーニングを用いて開発し、全地球領域にわたる大規模な学習の必要性を回避すること。
• 学習データ外の衛星画像に対しても一般化性能を評価し、学習データを越えた一般化の有効性を示すこと。

提案手法

• 衛星画像の補完をメタラーニング問題として定式化し、各画像を個別の2次元回帰タスクとして扱う。
• 畳み込みニューラルプロセス（ConvNPs）、特にConvCNPおよびConvLNPの変種を用いて、欠損ピクセルの予測分布をモデル化する。
• 画像のシャープネスと知覚的品質を向上させるために、マルチスケール構造的類似性（MS-SSIM）損失関数を採用する。
• 実際の汚染状態を模倣するため、合成的なスキャンライン欠际を含む800枚の衛星画像（128×128または64×64）の小さなデータセットを用いて学習を行う。
• ConvLNPにおける潜在変数を活用し、複雑なデータ分布をモデル化し、予測の不確実性と正確性を向上させる。
• パッチ単位の推論を用いて、1024×1024の大きな画像の補完を実行することで、スケーラブルなグローバル応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習時に見られなかった分布外の衛星画像に対し、ConvNPsは効果的に一般化可能であり、少数のスパatiotemporal領域での学習からグローバルな補完ソリューションを実現できるか？
• RQ2 ConvNPsは、スキャンライン障害を有するLANDSAT 7画像において、従来の手法および深層学習ベースの補完手法と比較して、どのように性能を発揮するか？
• RQ3 標準的な深層学習モデルと比較して、ConvNPsは空間的・時系列的構造をどの程度活用して補完品質を向上させられるか？
• RQ4 ConvNPsは、少数の学習画像でのみ学習させることで、高品質な補完を達成できるか、すなわちショットメタラーニングの能力を示せるか？
• RQ5 クリーンな画像ではなく、補完済みの画像を用いた場合、ConvNPsは下流の回帰タスクでどの程度の性能を示すか？

主な発見

• ConvLNPは下流の合成回帰タスクで最良の性能を発揮し、クリーンな画像を用いた結果に非常に近い値を達成した。
• ConvLNPは、分布内および分布外の衛星画像の両方において、U-Net や Partial Conv などの他のすべてのモデルを上回った。
• ConvNPsは強力なゼロショット一般化を示し、空間的・時系列的場所のわずかなサブセットでの学習のみでグローバルなインpainterを実現できた。
• モデルは、スキャンライン補完タスクにおいて最先端の結果を達成し、Navier-Stokes や現代の深層学習ベースラインといった従来の手法を上回った。
• ぼやけた出力が見られたが、Partial Conv は ConvCNP よりわずかに MAPE が優れており、知覚的品質と定量的誤差のトレードオフが示された。
• 64×64 の補完ではモデルの性能が安定していたが、128×128 の予測は現在の学習設定下では不安定であった。