[論文レビュー] Self-supervised Hyperspectral Image Restoration using Separable Image Prior

Ryuji Imamura, Tatsuki Itasaka+1 more|arXiv (Cornell University)|Jul 1, 2019

Image and Signal Denoising Methods参考文献 34被引用数 6

ひとこと要約

本論文は、1つの劣化した入力から合成ノイズを生成することで、クリアな参照画像が不要な自己教師あり深層学習手法を提案する。分離可能畳み込みニューラルネットワークを用いることで、高光譜画像（HSI）の修復が可能となり、ガウスノイズ、インパルスノイズ、ライン欠陥など多様なノイズタイプにおいて最先端の性能を達成。混合ノイズ状況ではPSNRが最大39.29 dB向上を達成。

ABSTRACT

Supervised learning with a convolutional neural network is recognized as a powerful means of image restoration. However, most such methods have been designed for application to grayscale and/or color images; therefore, they have limited success when applied to hyperspectral image restoration. This is partially owing to large datasets being difficult to collect, and also the heavy computational load associated with the restoration of an image with many spectral bands. To address this difficulty, we propose a novel self-supervised learning strategy for application to hyperspectral image restoration. Our method automatically creates a training dataset from a single degraded image and trains a denoising network without any clear images. Another notable feature of our method is the use of a separable convolutional layer. We undertake experiments to prove that the use of a separable network allows us to acquire the prior of a hyperspectral image and to realize efficient restoration. We demonstrate the validity of our method through extensive experiments and show that our method has better characteristics than those that are currently regarded as state-of-the-art.

研究の動機と目的

• 高次元スペクトル特徴を有するHSI修復に向けた教師あり深層学習の応用を制限する、大規模なラベル付きデータセットの不足に対処する。
• 高いスペクトル次元性に起因する、HSIの修復に伴う高い計算コストとモデルの複雑さを克服する。
• 1つの劣化したHSIから合成トレーニングデータを生成する自己教師ありトレーニング戦略を構築し、クリアな参照画像の必要性を排除する。
• HSIの非等方的構造を活用するため、分離可能畳み込み層を用いて空間的・スペクトル的相関を効率的にモデル化し、パラメータ数を削減する。
• ガウス、インパルス、およびライン欠陥を含む多様なノイズタイプにおいて、ブラインド修復設定でも高い性能を発揮する。

提案手法

• 1つの劣化したHSIから抽出したパッチに固定分散のノイズを追加することで、合成トレーニングデータを生成し、自己教師あり学習を可能にする。
• 空間的およびスペクトル的特徴を別々にモデル化するため、深さ方向分離畳み込み（depthwise separable convolutions）を用いた分離可能畳み込みニューラルネットワークを採用し、モデルパラメータ数と計算負荷を低減する。
• クリアな正解が不要なため、ノイズ入り入力と復元出力の間で標準的な平均二乗誤差（MSE）損失を用いて、ノイズ除去ネットワークを訓練する。
• トレーニングの多様性を高めるために、回転および反転のデータ拡張を適用し、40×40×50のパッチに分割された20枚のHSI画像を用いる。
• 2段階の学習率スケジュールを用いてネットワークを最適化する：最初の40エポックで1e-3、その後10エポックで1e-4。
• HSIの固有の低ランク性と自己類似性を活用し、明示的な事前知識を用いずに特徴学習を強化する。分離可能畳み込みによるネットワークのインダクティブバイアスに依存する。

実験結果

リサーチクエスチョン

• RQ1 クリアな参照画像を必要としない自己教師あり学習フレームワークは、HSI修復のための深層ニューラルネットワークを効果的に学習可能か？
• RQ2 標準畳み込みネットワークと比較して、分離可能畳み込み層の使用が、HSI修復における効率性と性能にどのように寄与するか？
• RQ3 提案手法は、合成および実世界のシナリオにおいて、ガウスノイズ、インパルスノイズ、ライン欠陥を含む多様なノイズタイプに一般化可能か？
• RQ4 ブラインドおよび非ブラインド設定において、最先端のモデルベースおよび学習ベースのHSI修復手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 訓練データのノイズ特性とは異なるノイズを持つ画像に適用した場合、本手法の性能はどの程度低下するか？

主な発見

• 混合ノイズ除去（ガウス＋インパルス＋ライン欠陥）において、本手法はPSNRが39.29 dBを達成し、LRTDTV（35.22 dB）やDIP（25.77 dB）をすべて上回る。
• 実際のノイズ除去実験では、本手法はシャープな特徴を効果的に回復させ、コントラストを維持する。DIP（過剰に平滑化）やN2V（重度の劣化でコントラスト低下）に比べて優れた性能を示す。
• 異なるHSIデータセットおよびノイズタイプにおいても安定した性能を発揮し、ノイズ特性が未知のブラインド修復設定でも高いロバスト性を示す。
• 分離可能畳み込みの使用により、モデルの複雑さとパラメータ数を削減しながらも、高い修復品質を維持し、高次元HSIデータへの効率的なトレーニングを可能にする。
• クリアなトレーニングデータに依存せず、ガウスノイズ除去、混合異常除去、実際のノイズ除去のすべての評価タスクで最先端の結果を達成する。
• 本手法は、深層学習が従来のモデルベースHSI修復手法を性能とロバスト性の両面で上回ることを、初めて実証した。