[論文レビュー] Learned Spectral Super-Resolution

Silvano Galliani, Charis Lanaras+3 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Image Fusion Techniques参考文献 40被引用数 99

ひとこと要約

本論文は、単一のRGB画像から31バンドのハイパースペクトル画像を生成するCNNを訓練し、知られたカメラスペクトル応答を前提としないブラインドスペクトル超解像を実現します。室内・屋外・衛星データ全体で競争力のある精度を示します。

ABSTRACT

We describe a novel method for blind, single-image spectral super-resolution. While conventional super-resolution aims to increase the spatial resolution of an input image, our goal is to spectrally enhance the input, i.e., generate an image with the same spatial resolution, but a greatly increased number of narrow (hyper-spectral) wave-length bands. Just like the spatial statistics of natural images has rich structure, which one can exploit as prior to predict high-frequency content from a low resolution image, the same is also true in the spectral domain: the materials and lighting conditions of the observed world induce structure in the spectrum of wavelengths observed at a given pixel. Surprisingly, very little work exists that attempts to use this diagnosis and achieve blind spectral super-resolution from single images. We start from the conjecture that, just like in the spatial domain, we can learn the statistics of natural image spectra, and with its help generate finely resolved hyper-spectral images from RGB input. Technically, we follow the current best practice and implement a convolutional neural network (CNN), which is trained to carry out the end-to-end mapping from an entire RGB image to the corresponding hyperspectral image of equal size. We demonstrate spectral super-resolution both for conventional RGB images and for multi-spectral satellite data, outperforming the state-of-the-art.

研究の動機と目的

• 単一のRGB画像からスペクトル解像度を高める不適定性の高い問題を動機づけ、解決を図る。
• RGB入力から31バンドのハイパースペクトル画像を予測するエンドツーエンドのCNNモデルを提案し、既知のカメラスペクトル応答を必要としない。
• 室内/屋外シーンと衛星画像という多様なデータセットに対する一般化能力を示し、先行手法と比較する。
• スペクトル再構成とハイパースペクトルアンミクシングとの関係を、ネットワークが学習する暗黙の事前情報として探る。

提案手法

• セマンティックセグメンテーションに触発された畳み込みニューラルネットワーク（Tiramisu／Densely Connected CNN）を用いて、入力と同じ空間分解能でハイパースペクトル出力を予測する。
• 解像度を維持するためにデコンボリューションをサブピクセルアップサンプリングに置換。
• スペクトル強度の回帰にはユークリッド損失を用いてエンドツーエンドでネットワークを訓練。
• 勾配消失を緩和し多段階の文脈を捉えるためにスキップ接続を備えた密結合ブロックを使用。
• 64×64パッチでデータ拡張（反転/回転）を行い、オーバーラップを持つタイル化で全画像を再構成してテスト。
• Adam最適化子とHeUniform初期化を用いたKerasでの訓練を実装し、正則化としてドロップアウトを適用。

実験結果

リサーチクエスチョン

• RQ1 単一のRGB画像からカメラ特定のスペクトル応答情報を用いずに高解像度のハイパースペクトル画像へ変換できるか？
• RQ2 CNNによって学習された事前情報はブラインドスペクトル超解像の自然シーンのスペクトル構造をどの程度捕捉できるか？
• RQ3 学習済みのスペクトル事前情報は室内・屋外・衛星撮影領域を跨って一般化するか？
• RQ4 異なるデータセット下で従来の単一画像スペクトル超解像手法と比べて性能はどれくらい向上するか？

主な発見

Dataset	Metric	Ours RMSE	Baseline RMSE	Ours RMSERel	Baseline RMSERel	Ours SAM	Baseline SAM
ICVL	RMSE	1.980	2.633	0.0587	0.0756	2.04	–
CAVE	RMSE	4.76	5.4	0.2804	–	12.10	–

• 本手法は、ICVLおよびCAVEデータセットにおいてRMSE、RMSERel、SAM指標で先行手法 Arad & Ben-Shahar のいずれかを超える定量的利得を達成（ICVL RMSE 1.980 vs 2.633；RMSERel 0.0587 vs 0.0756；SAM 2.04 vs –；CAVE RMSE 4.76 vs 5.4；RMSERel 0.2804 vs –；SAM 12.10 vs –）。
• 衛星データ（Hyperion）でも競争力のある結果を提供し、モデルがカメラのスペクトル応答が未知でも比較対象ベースラインを上回ることができる。
• データセット全体でRMSEおよびRMSERelの改善を示し、ハイパースペクトルアンミクシングにおけるノイズ低減効果と現実的なエンドメンバー抽出を示す。
• ネットワークはスペクトルアンミクシングの学習された非線形拡張として機能し、RGB入力からエンドメンバーと存在量を効果的に推測する。
• ノイズの多い衛星データでは、予測ハイパースペクトル画像がグラウンドトゥルースよりもクリーンに見える場合があり、デノイジング効果が観察される。