[論文レビュー] Light Weight Residual Dense Attention Net for Spectral Reconstruction from RGB Images

D. Sabari Nathan, K Uma+3 more|arXiv (Cornell University)|Apr 15, 2020

Color Science and Applications参考文献 22被引用数 13

ひとこと要約

本稿では、RGB入力からのハイパースペクトル画像再構成のための、パラメータ数がたった233,059の軽量な残差密度注意ネットワークを提案する。協調畳み込みブロック、二重特徴抽出（密度的およびマルチスケール階層的）、およびグローバル特徴統合を組み合わせることで、計算コストを低く抑えながらNTIRE 2020データセットで最先端のMRAE 0.0457を達成した。

ABSTRACT

Hyperspectral Imaging is the acquisition of spectral and spatial information of a particular scene. Capturing such information from a specialized hyperspectral camera remains costly. Reconstructing such information from the RGB image achieves a better solution in both classification and object recognition tasks. This work proposes a novel light weight network with very less number of parameters about 233,059 parameters based on Residual dense model with attention mechanism to obtain this solution. This network uses Coordination Convolutional Block to get the spatial information. The weights from this block are shared by two independent feature extraction mechanisms, one by dense feature extraction and the other by the multiscale hierarchical feature extraction. Finally, the features from both the feature extraction mechanisms are globally fused to produce the 31 spectral bands. The network is trained with NTIRE 2020 challenge dataset and thus achieved 0.0457 MRAE metric value with less computational complexity.

研究の動機と目的

• ハイパースペクトルイメージングの高コストを軽減し、標準的なRGB画像からスペクトル再構成を可能にする。
• 実用的デプロイメントを維持しつつ、モデルの複雑さを低減する。
• 密度的およびマルチスケール階層的特徴抽出の統合により、特徴表現を向上させる。
• 共有重みを備えた協調畳み込みブロックにより、空間的およびスペクトル的情報の学習を強化する。
• 最小限のパラメータと低計算オーバーヘッドで高いパフォーマンスを達成する。

提案手法

• ネットワークは、二重の並列特徴抽出パスにわたる共有重みを持つ協調畳み込みブロックを用いて空間的特徴を抽出する。
• 一つのパスでは、特徴の再利用と勾配の流れを促進するため、密度的残差接続を用いる。
• もう一つのパスでは、複数スケールでの文脈的情報を捉えるためにマルチスケール階層的特徴抽出を適用する。
• 両パスからの特徴がグローバルに統合され、RGB入力から31バンドのスペクトルを再構成する。
• 特徴統合中に情報量の多い特徴を動的に強調するために、注目メカニズムを統合する。
• 平均相対絶対誤差（MRAE）損失を用いて、NTIRE 2020チャレンジデータセットをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 最小限のパラメータで、高精度なスペクトル再構成を実現できる軽量なディープラーニングモデルは可能か？
• RQ2 密度的およびマルチスケール階層的特徴抽出の組み合わせは、スペクトル再構成精度の向上にどの程度効果的か？
• RQ3 共有重みを用いた協調畳み込みブロックは、パラメータ共有を活かして空間的特徴学習をどの程度向上できるか？
• RQ4 注目メカニズムは、パラメータが少ないスペクトル再構成ネットワークにおける特徴統合をどの程度改善できるか？
• RQ5 このタスクにおいて、モデルの複雑さと再構成パフォーマンスのトレードオフはどのようなものか？

主な発見

• 提案されたネットワークは、NTIRE 2020データセットで平均相対絶対誤差（MRAE）0.0457を達成し、最先端のパフォーマンスを示した。
• モデルのパラメータ数はたった233,059であり、既存の手法と比較して計算複雑性を顕著に低減した。
• 協調畳み込みブロックにより、二重の特徴抽出パスにわたる共有重みを活かした効果的な空間的特徴学習が可能になった。
• 密度的およびマルチスケール階層的特徴の統合により、スペクトル的および空間的情報の表現が向上した。
• 注目メカニズムの統合により、再構成プロセス中に関連する特徴に注目する能力が向上した。
• モデルは一般化性能と効率性に優れ、リソース制約のある環境での実世界デプロイメントに適している。