[論文レビュー] SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution

Gengchen Mai, Ni Lao+8 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Image Fusion TechniquesEngineering被引用数 3

ひとこと要約

本稿では、空間座標と波長の連続関数として画像を表現する神経暗黙関数であるSpatial-Spectral Implicit Function (SSIF) を提案する。この手法により、任意の解像度で空間的・スペクトル的スーパーエンリッチャーが可能となり、下流の土地利用分類タスクで最高7%の精度向上を達成した。

ABSTRACT

Existing digital sensors capture images at fixed spatial and spectral resolutions (e.g., RGB, multispectral, and hyperspectral images), and each combination requires bespoke machine learning models. Neural Implicit Functions partially overcome the spatial resolution challenge by representing an image in a resolution-independent way. However, they still operate at fixed, pre-defined spectral resolutions. To address this challenge, we propose Spatial-Spectral Implicit Function (SSIF), a neural implicit model that represents an image as a function of both continuous pixel coordinates in the spatial domain and continuous wavelengths in the spectral domain. We empirically demonstrate the effectiveness of SSIF on two challenging spatio-spectral super-resolution benchmarks. We observe that SSIF consistently outperforms state-of-the-art baselines even when the baselines are allowed to train separate models at each spectral resolution. We show that SSIF generalizes well to both unseen spatial resolutions and spectral resolutions. Moreover, SSIF can generate high-resolution images that improve the performance of downstream tasks (e.g., land use classification) by 1.7%-7%.

研究の動機と目的

• 画像スーパーエンリッチャーにおける、空間的・スペクトル的解像度の各組み合わせに対して個別に深層学習モデルを訓練する課題に対処すること。
• 従来の神経暗黙関数がスペクトルドメインで解像度固定であるという制限を克服すること。
• 再トレーニングなしに未観測の空間的・スペクトル的解像度に一般化可能な統合モデルの開発。
• リモートセンシングにおける土地利用分類などの下流タスクのための、スーパーエンリッチャー画像の忠実度向上。
• 無限のバンドを含む任意のスペクトル解像度出力をサポートするため、連続的スペクトル表現の実現。

提案手法

• 画像を連続的な空間座標 (x, y) と連続的な波長 (λ) からピクセル強度へマッピングする神経暗黙関数として表現する。
• 低解像度マルチスペクトル画像 (LR-MSI) を処理するためのマルチブランチエンコーダーを用い、空間的およびスペクトル的特徴を抽出する。
• 波長を埋め込みベクトルにマッピングする学習可能なスペクトルエンコーダーを統合し、区分線形またはPK基底関数に類似した表現を実現する。
• 座標ベースのネットワーク (SIF) を用いて、空間座標とスペクトル埋め込みから高解像度画像値を予測する。
• 構造的およびスペクトル的忠実度を保持するために、L1損失と知覚的損失を用いてモデルをエンドツーエンドで訓練する。
• 入力画像特徴および連続的クエリ座標／波長に条件付けたことで、ゼロショット一般化を実現する。

Figure 1: Spatial-Spectral Implicit Function ( \modelname ). Given an input low-resolution multispectral (LR-MSI) image, \modelname can perform both spatial (blue arrows) and spectral (red arrows) super-resolution simultaneously (illustrated with a specific pixel A). Unlike all the other neural impl

実験結果

リサーチクエスチョン

• RQ1 1つの神経暗黙関数モデルが、スーパーエンリッチャー課題において多様な空間的・スペクトル的解像度に一般化可能か？
• RQ2 連続的スペクトル表現は、固定基底のスペクトルモデリングに比べ、ハイパースペクトル画像スーパーエンリッチャーでより優れた性能を発揮するか？
• RQ3 提案手法は、既存手法と比較して土地利用分類などの下流タスクでどのように性能を発揮するか？
• RQ4 トレーニング時に見未曾る空間的・スペクトル的解像度に、どの程度一般化可能か？
• RQ5 学習されたスペクトル埋め込みはどのようなスペクトル基底関数に類似しており、再構成品質にどのように寄与するか？

主な発見

• CAVEおよびPavia Centreの両データセットにおいて、SSIFは、スペクトル解像度ごとにファインチューニングされた最先端のベースラインでさえも一貫して上回った。
• Pavia Centreの土地利用分類タスクにおいて、SSIF-RF-GSは、最良のベースラインであるLIIFに対して1.7%～7%の精度向上を達成した。
• トレーニング分布外の未観測の空間解像度（例：スケール要因2, 3, 4, 8）およびスペクトル解像度に対しても、効果的に一般化できた。
• スペクトルエンコーダーは、古典的な区分線形（PL）または連続的PK基底関数に類似した埋め込みを学習し、柔軟なスペクトル表現を可能にした。
• 定量的指標と下流タスクのパフォーマンス両面で検証されたように、知覚的に妥当な結果を伴う高忠実度のスーパーエンリッチャーを達成した。
• 不規則に配置されたバンドを含む多様なスペクトルバンド設定に対しても、モデルは頑健に動作し、標準的なRGBやハイパースペクトル形式を超える柔軟性を示した。

(a) Data Preparation