[論文レビュー] Hierarchical Regression Network for Spectral Reconstruction from RGB Images

Yuzhi Zhao, Lai-Man Po+3 more|arXiv (Cornell University)|May 10, 2020

Advanced Image Fusion Techniques参考文献 38被引用数 7

ひとこと要約

本論文は、ピクセルシャッフルに基づく階層間接続、残差畳み込み密集ブロック（ResDB）、および残差グローバルブロック（ResGB）を備えた4段階の階層的回帰ネットワーク（HRNet）を提案する。この手法は、RGB入力から高精細なハイパースペクトル画像を再構築し、NTIRE 2020 ハイパースペクトル画像再構築コンテストのトラック2（実世界画像）で優勝し、トラック1（クリーンな画像）で3位を達成する、最先端の性能を発揮した。

ABSTRACT

Capturing visual image with a hyperspectral camera has been successfully applied to many areas due to its narrow-band imaging technology. Hyperspectral reconstruction from RGB images denotes a reverse process of hyperspectral imaging by discovering an inverse response function. Current works mainly map RGB images directly to corresponding spectrum but do not consider context information explicitly. Moreover, the use of encoder-decoder pair in current algorithms leads to loss of information. To address these problems, we propose a 4-level Hierarchical Regression Network (HRNet) with PixelShuffle layer as inter-level interaction. Furthermore, we adopt a residual dense block to remove artifacts of real world RGB images and a residual global block to build attention mechanism for enlarging perceptive field. We evaluate proposed HRNet with other architectures and techniques by participating in NTIRE 2020 Challenge on Spectral Reconstruction from RGB Images. The HRNet is the winning method of track 2 - real world images and ranks 3rd on track 1 - clean images. Please visit the project web page https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images to try our codes and pre-trained models.

研究の動機と目的

• RGBからのスペクトル再構築の不適切な性質に対処するため、頑健な逆写像関数を学習すること。
• 従来のエンコーダ・デコーダネットワークで失われる空間的詳細を保全するため、ダウンサンプリングを学習可能なピクセルシャッフル操作に置き換えること。
• アーチファクト除去のための残差畳み込み密集ブロックと、長距離の文脈モデリングのための残差グローバルブロックを統合することで、特徴表現を向上させること。
• モデル推論における8設定アンサンブル戦略を用いることで、一般化性能とロバストネスを向上させること。
• 実世界およびクリーンな画像のベンチマーク上で本手法を検証し、スペクトル再構築品質において優れた性能を示すこと。

提案手法

• HRNetは、各レベルが異なるスケールの特徴をピクセルアンシャッフルを用いて空間分解能を保持しながら処理する4段階の階層的アーキテクチャを採用する。
• 階層間の特徴統合は、学習可能なピクセルシャッフルおよびピクセルアンシャッフル層を介して実現され、空間情報の損失なしに情報の流れを可能にする。
• 残差畳み込み密集ブロック（ResDB）は、密な受容 field を通じた特徴集約に用いられ、実世界のRGB画像におけるノイズやアーチファクトの効果的抑制に寄与する。
• 残差グローバルブロック（ResGB）は、長距離のピクセル相関をモデル化し、スペクトル再構築のための受容 field を拡張するために導入される。
• 推論段階では、過学習を低減し、多様なテスト画像にわたる一般化性能を向上させるために、8設定アンサンブル戦略が適用される。
• ネットワークは、L1損失と知覚的損失の組み合わせを用いてエンドツーエンドで訓練され、最適化にはAdamが用いられ、学習率スケジューリングが実施される。

実験結果

リサーチクエスチョン

• RQ1 学習可能なダウンサンプリングおよびアップサンプリング操作を備えた階層的ネットワークは、標準的なオートエンコーダベースのアーキテクチャを上回る性能を発揮できるか？
• RQ2 残差畳み込み密集ブロックおよび残差グローバルブロックは、アーチファクトの抑制と長距離依存関係のモデリングによって、どの程度再構築品質を向上させるか？
• RQ3 8設定アンサンブル戦略は、多様な実世界およびクリーンな画像分布にわたるモデルの一般化性能をどの程度向上させるか？
• RQ4 提案されたHRNetは、効率的なデプロイメントを目的とした小型化されたモデルサイズに圧縮されても、高い性能を維持できるか？
• RQ5 ピクセルシャッフルを学習可能なサンプリング演算子として用いることで、標準的なストライド畳み込みと比較して情報損失を顕著に低減できるか？

主な発見

• HRNetはNTIRE 2020コンテストのトラック2で最良の性能を達成し、アンサンブルを適用した後、MRAEが0.039893にまで低下し、実世界画像再構築トラックで優勝した。
• トラック1（クリーンな画像）では、テストセットでMRAEが0.06201を記録し、3位にランクインした。U-NetおよびU-ResNetベースラインを上回った。
• アブレーションスタディの結果、ResDBまたはResGBのいずれかを削除すると性能が著しく低下し、両方を削除した場合のMRAEは0.042328から0.048033に上昇した。
• モデルは元のサイズの1/8（2.410 Mb）に圧縮可能であり、MRAEはわずかに0.048443に増加するにとどまり、妥当な忠実度を維持した。
• 8設定アンサンブル戦略により、トラック1のMRAEは0.042328から0.039893に低下し、局所的最小値を避ける有効性が示された。
• ピクセルシャッフルおよびピクセルアンシャッフルの使用により、階層間での特徴伝搬が損失なしに可能となり、空間的およびスペクトル的詳細のより良い保持に寄与した。