[論文レビュー] 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising

Kaixuan Wei, Ying Fu+1 more|arXiv (Cornell University)|Mar 10, 2020

Image and Signal Denoising Methods参考文献 49被引用数 5

ひとこと要約

本稿では、3次元畳み込みによる構造的空間スペクトル相関と、準再帰的プーリング関数によるグローバルスペクトル相関（GCS）を統合的にモデル化する3次元準再帰ニューラルネットワーク（QRNN3D）を提案する。交互方向構造により、余分な計算コストを伴わず因果的依存関係を排除し、多様なノイズタイプおよびスペクトル次元において最先端の性能を達成する。ICVLからリモートセンシングデータへの直接的転送が可能であり、微調整を要しない。

ABSTRACT

In this paper, we propose an alternating directional 3D quasi-recurrent neural network for hyperspectral image (HSI) denoising, which can effectively embed the domain knowledge -- structural spatio-spectral correlation and global correlation along spectrum. Specifically, 3D convolution is utilized to extract structural spatio-spectral correlation in an HSI, while a quasi-recurrent pooling function is employed to capture the global correlation along spectrum. Moreover, alternating directional structure is introduced to eliminate the causal dependency with no additional computation cost. The proposed model is capable of modeling spatio-spectral dependency while preserving the flexibility towards HSIs with arbitrary number of bands. Extensive experiments on HSI denoising demonstrate significant improvement over state-of-the-arts under various noise settings, in terms of both restoration accuracy and computation time. Our code is available at https://github.com/Vandermode/QRNN3D.

研究の動機と目的

• 既存のHSIノイズ除去手法が手作業で設計された事前知識や2次元畳み込みに依存するという限界を是正すること。これにより、柔軟性やモデリング能力が損なわれる。
• 統合的な3次元ディープラーニングフレームワーク内で、構造的空間スペクトル相関とスペクトル方向のグローバル相関（GCS）の両方をモデル化すること。
• 標準的なRNNが有する一方向の因果的依存関係を、計算コストを増加させることなくHSIモデリングから排除すること。
• 任意のスペクトル次元を持つHSIに一般化可能なモデルを構築し、再訓練なしに未学習のセンサデータに直接適用可能にすること。
• 複雑で現実的なノイズ環境下でも、高い復元精度と低遅延の推論を達成すること。

提案手法

• コアとなる構成要素は、3次元畳み込みによる局所的空間スペクトル特徴抽出と、グローバルスペクトル相関モデリングのための準再帰的プーリング関数を統合した3次元準再帰ユニット（QRU3D）である。
• 準再帰的プーリングは、入力特徴に基づいて動的にゲーティング機構を計算し、すべてのスペクトルバンドにわたるGCSの有効な捉え込みを可能にする。
• 因果的依存関係を排除するために、スペクトル方向を前向きおよび後向きの両方向で処理する交互方向構造を導入し、追加の計算コストなしに実現する。
• エンコーダ・デコーダ構造を採用したネットワークアーキテクチャで、QRU3Dブロックを組み込み、HSIノイズ除去のエンドツーエンド学習を可能にする。
• 再構成損失を用いてエンドツーエンドで学習を行い、GCS機構の寄与度はフロベニウスノルムに基づく寄与度分析により可視化する。
• スペクトル次元に依存しないため、未知または変動するバンド数を持つHSIに対しても直接推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 3次元ディープラーニングアーキテクチャは、同時に局所的空間スペクトル相関とグローバルスペクトル相関（GCS）を効果的にモデル化できるか？
• RQ2 HSIノイズ除去において、計算コストを増加させることなく、再帰的モデリングにおける因果的依存関係をどのように排除できるか？
• RQ3 学習可能なアダプティブなGCSモデリング機構は、固定された手作業で設計された事前知識（例えば低ランクテンソル）を上回る性能を発揮できるか？
• RQ4 ICVLで事前学習したモデルが、異なるスペクトル特性を有する実世界のリモートセンシングデータにどの程度一般化可能か？
• RQ5 提案された交互方向構造は、標準的な双方向または一方向RNNと比較して、HSIタスクにおける性能と柔軟性を向上させるか？

主な発見

• QRNN3Dは、ICVLを含む複数のベンチマークデータセットで、ガウスノイズおよび複雑なノイズ環境下において最先端の性能を達成した。
• PSNR性能において最先端の手法を上回り、表VIIに示すように、ガウスノイズ（σ=50）下でICVLで40.23 dBのPSNRを記録した。
• 交互方向構造により、追加コストなしに双方向の文脈モデリングが可能となり、標準的な双方向RNNよりも効率的である。
• モデルの一般化性能は優れており、ICVLで事前学習したQRNN3Dは、再訓練なしにリモートセンシングHSIに直接適用可能である。これは、標準的な2次元CNNでは実現不可能な能力である。
• 可視化により、GCS機構が長距離スペクトル依存性を効果的に捉えていることが確認され、平均して各出力バンドが少なくとも15個の他のバンドに影響を受けることが示された。
• アブレーションスタディの結果、3次元畳み込みと準再帰的プーリングの組み合わせが性能に不可欠であり、両者ともノイズ除去精度に顕著な寄与を示した。