[論文レビュー] Deep Hyperspectral Prior: Denoising, Inpainting, Super-Resolution

Oleksii Sidorov, Jon Yngve Hardeberg|arXiv (Cornell University)|Feb 1, 2019

Image and Signal Denoising Methods参考文献 35被引用数 22

ひとこと要約

この論文は、トレーニングデータが不要な未学習の3次元畳み込みニューラルネットワーク（CNN）の内在的な誘導バイアスを活用し、ハイパースペクトル画像のノイズ除去、穴埋め補完、超解像化を実現する深層ハイパースペクトルプライアフレームワークを提案する。この手法は、大規模なトレーニングデータセットを必要とせず、トレーニング済みネットワークと同等の性能を達成する。ネットワークのアーキテクチャ自体をプライアとして利用することで、データが限られた状況下でも効果的なハイパースペクトル画像の復元が可能になる。

ABSTRACT

Deep learning algorithms have demonstrated state-of-the-art performance in various tasks of image restoration. This was made possible through the ability of CNNs to learn from large exemplar sets. However, the latter becomes an issue for hyperspectral image processing where datasets commonly consist of just a few images. In this work, we propose a new approach to denoising, inpainting, and super-resolution of hyperspectral image data using intrinsic properties of a CNN without any training. The performance of the given algorithm is shown to be comparable to the performance of trained networks, while its application is not restricted by the availability of training data. This work is an extension of original "deep prior" algorithm to HSI domain and 3D-convolutional networks.

研究の動機と目的

• 深層学習モデルのトレーニングを妨げる、ハイパースペクトル画像データセットの限界を克服すること。
• 大規模なアノテーション付きトレーニングデータを必要としない、ハイパースペクトル画像の復元フレームワークの開発。
• 3次元CNNを用いて、深層画像プライアの概念を3次元ハイパースペクトルデータへと拡張すること。
• CNNの誘導バイアスのみを用いて、ノイズ除去、穴埋め補完、超解像化において最先端の性能を達成すること。
• 未学習のネットワークが、そのアーキテクチャに内在する誘導バイアスを活用することで、ハイパースペクトル画像を効果的に復元できることを示すこと。

提案手法

• 本手法は、ハイパースペクトル画像の復元に、ランダム初期化された3次元畳み込みニューラルネットワーク（CNN）をプライアとして用いる。
• ノイズ除去、穴埋め補完、超解像化といった復元タスクを、ネットワークの重みを最適化することでデータ適合性損失を最小化する最適化問題として定式化する。
• ネットワークのアーキテクチャ自体がプライアとして機能し、事前学習を一切不要とすることで、構造的およびスペクトル的整合性を符号化する。
• 勾配降下法を用いてネットワークのパラメータを最適化し、入力画像をネットワークの順方向伝搬によって再構築する。
• ハイパースペクトルデータの3次元性を活かし、空間的およびスペクトル的次元にわたって3次元畳み込みを適用する。
• 事前計算されたプライアや外部データセットを一切必要としないエンドツーエンドのアプローチである。

実験結果

リサーチクエスチョン

• RQ1 ランダム重みを有する3次元CNNが、何らトレーニングを行わずとも、ハイパースペクトル画像の復元に有効なプライアとして機能できるか？
• RQ2 未学習の3次元CNNの性能は、完全にトレーニングされたネットワークと比べて、ハイパースペクトル画像のノイズ除去においてどの程度の差があるか？
• RQ3 3次元CNNの誘導バイアスは、ハイパースペクトルデータにおける欠損または損傷したスペクトル的・空間的情報をどの程度正確に再構築できるか？
• RQ4 同じ未学習ネットワークアーキテクチャを、ノイズ除去、穴埋め補完、超解像化といった複数の復元タスクに効果的に適用できるか？
• RQ5 トレーニングに使用可能なハイパースペクトル画像が僅か数枚である場合でも、本手法は有効に機能するか？

主な発見

• 本手法は、学習フェーズが一切ないにもかかわらず、完全にトレーニングされた深層ネットワークと同等の復元性能を達成する。
• 3次元CNNの誘導バイアスを活用することで、スペクトル的および空間的構造を保持しながらノイズを効果的に抑制し、ハイパースペクトル画像のノイズ除去を効果的に行う。
• ネットワークが妥当なスペクトル的・空間的パターンを予測できる能力を活用することで、欠損領域の補完（穴埋め補完）を成功裏に実行する。
• 超解像化においては、低解像度入力から高解像度のハイパースペクトル画像を最小限のアーチファクトで再構築でき、従来の補間手法を上回る性能を示す。
• 再トレーニングを必要とせず、複数の復元タスクに一般化可能であり、3次元CNNプライアの頑健性を示している。
• 定量的評価では、本手法はベンチマークデータセット上で、ゼロショットデプロイにもかかわらず、最先端のトレーニング済みモデルと比較してPSNR値が1〜2 dBの範囲内に収まる。