[論文レビュー] MXR-U-Nets for Real Time Hyperspectral Reconstruction

Atmadeep Banerjee, Akash Palrecha|arXiv (Cornell University)|Apr 15, 2020

Advanced Data Compression Techniques参考文献 27被引用数 11

ひとこと要約

本論文では、Mish活性化関数を備えたMXResNetエンコーダー、サブピクセル畳み込み、ぼかし層、およびデコーダー内に自己注意モジュールを統合したU-NetベースのCNNアーキテクチャ、MXR-U-Netを提案する。主な貢献は、深さのあるモデルと比較して0.5%の性能低下しかなく、1枚あたり0.037秒というリアルタイム推論を達成できる軽量なMXResNet18バージョンの開発である。

ABSTRACT

In recent times, CNNs have made significant contributions to applications in image generation, super-resolution and style transfer. In this paper, we build upon the work of Howard and Gugger, He et al. and Misra, D. and propose a CNN architecture that accurately reconstructs hyperspectral images from their RGB counterparts. We also propose a much shallower version of our best model with a 10% relative memory footprint and 3x faster inference, thus enabling real-time video applications while still experiencing only about a 0.5% decrease in performance.

研究の動機と目的

• ハイパースペクトル画像撮影のハードウェアコストが非常に高いという点から、RGB入力からのハイパースペクトル画像再構成の課題に対処すること。
• 画像生成およびスーパーレゾリューション分野の最新の進展を統合することで、既存のCNNベースのスペクトル再構成手法を改善すること。
• 高精度な再構成精度を維持しながら、動画処理に適した軽量かつリアルタイム推論が可能なモデルを開発すること。
• 自己注意モジュール、ぼかし層、エンコーダーの深さといったアーキテクチャ的要素が性能および推論速度に与える影響を調査すること。

提案手法

• 4段階のダウンサンプリングステージでエンコーダーとデコーダーを接続するスキップ接続を備えたU-Netエンコーダー・デコーダー構造を採用する。
• ReLUの代わりに勾配の流れを改善するためMish活性化関数を備えたXResNet（MXResNet）をエンコーダーのバックボーンとして採用する。
• デコンボリューションの代わりに、効率的で学習可能なアップサンプリングが可能なサブピクセル畳み込み層を実装する。
• 生成画像におけるチェックレザー・アーティファクトを低減するために、ストライド1の2×2平均プーリングを用いたぼかし層を導入する。
• 2番目のデコーダーブロックの後に自己注意モジュールを統合し、微細な空間的詳細への注目を強化する。
• MSEやPSNRを上回る知覚的品質を向上させるために、複数の中間層からの特徴量を組み合わせた知覚的損失を用いて学習を行う。

実験結果

リサーチクエスチョン

• RQ1 自己注意モジュール、ぼかし層、サブピクセル畳み込みといったアーキテクチャ的要素が、再構成されたハイパースペクトル画像の知覚的品質および定量的品質に与える影響は何か？
• RQ2 再構成精度を維持しつつ、モデルの深さ（例：MXResNet18 対 MXResNet50）と推論速度のトレードオフはどのようなものか？
• RQ3 MXResNet18のような浅いエンコーダーは、メモリと推論時間の大幅な削減を実現しながらも、準SOTA（準最先端）の性能を達成できるか？
• RQ4 MSE損失と比較して、知覚的損失はスペクトル再構成において知覚的に重要な画像ディテールをどれほど効果的に保持できるか？
• RQ5 ImageNetで事前学習を施すと、RGBからハイパースペクトルへの再構成性能にどのような影響を与えるか？

主な発見

• 自己注意モジュールとぼかし層を備えたMXResNet50ベースのMXR-U-Netは、クリーントラックでMRAE 0.045434、リアルワールドトラックでMRAE 0.083993を達成した。
• MXResNet18ベースのモデルは1枚あたり0.037秒の推論時間を達成し、リアルタイム動画処理に適している。
• MXResNet50モデルのパラメータ数（342.07M）の10%しか持たない（31.35M）にもかかわらず、クリーントラックでMRAEが0.006655増加、リアルワールドトラックで0.004596増加にとどまった。
• 知覚的損失の使用により、MSE損失と比較して実世界の検証画像における視覚的アーティファクトが顕著に低減されたことが、定性的な比較で示された。
• ImageNetでの事前学習は性能をわずかに低下させたため、このタスクではランダム初期化からの微調整の方が効果的である可能性がある。
• 自己注意モジュールとぼかし層の追加により再構成品質が向上し、特に自己注意モジュールが微細ディテールの回復を顕著に向上させた。