[論文レビュー] HDNet: High-resolution Dual-domain Learning for Spectral Compressive Imaging

Xiaowan Hu, Yuanhao Cai+6 more|arXiv (Cornell University)|Mar 4, 2022

Photoacoustic and Ultrasonic Imaging被引用数 12

ひとこと要約

HDNetは、圧縮測定値からのハイパースペクトル画像（HSI）再構成のための高分解能デュアルドメイン学習フレームワークを提案する。ピクセルレベルの空間的・スペクトル的注意機構と動的周波数ドメイン損失を組み合わせることで、知覚的差異を低減する。空間的・スペクトル的および周波数ドメインの忠実度を共同最適化することで、シミュレート済みおよび実データの両方で画質と定量的指標が著しく向上し、最先端の性能を達成する。

ABSTRACT

The rapid development of deep learning provides a better solution for the end-to-end reconstruction of hyperspectral image (HSI). However, existing learning-based methods have two major defects. Firstly, networks with self-attention usually sacrifice internal resolution to balance model performance against complexity, losing fine-grained high-resolution (HR) features. Secondly, even if the optimization focusing on spatial-spectral domain learning (SDL) converges to the ideal solution, there is still a significant visual difference between the reconstructed HSI and the truth. Therefore, we propose a high-resolution dual-domain learning network (HDNet) for HSI reconstruction. On the one hand, the proposed HR spatial-spectral attention module with its efficient feature fusion provides continuous and fine pixel-level features. On the other hand, frequency domain learning (FDL) is introduced for HSI reconstruction to narrow the frequency domain discrepancy. Dynamic FDL supervision forces the model to reconstruct fine-grained frequencies and compensate for excessive smoothing and distortion caused by pixel-level losses. The HR pixel-level attention and frequency-level refinement in our HDNet mutually promote HSI perceptual quality. Extensive quantitative and qualitative evaluation experiments show that our method achieves SOTA performance on simulated and real HSI datasets. Code and models will be released at https://github.com/caiyuanhao1998/MST

研究の動機と目的

• ピクセルレベルの損失が低周波成分を優遇するため、深層学習ベースのHSI再構成における視覚的品質のギャップを是正すること。
• 自己注意機構における分解能のトレードオフにより、高分解能のスペクトル的・空間的詳細の保持が制限される既存手法の限界を克服すること。
• ピクセルレベルの再構成は良好でも、知覚的アーチファクトを引き起こす原因となる、再構成済みHSIと真値HSIの周波数ドメイン差異を低減すること。
• 空間的・スペクトル的および周波数ドメイン表現の両方を共同最適化する補完的デュアルドメイン学習メカニズムを開発し、HSI再構成を向上させること。
• 分解能と周波数忠実度の両方を共同最適化することで、シミュレート済みおよび実世界のHSIデータセットで最先端の性能を達成すること。

提案手法

• 自己注意演算における次元削減を回避することで、微細な高分解能特徴を維持する高分解能（HR）空間的・スペクトル的注意モジュールを導入する。
• 分解能の損失なしにHR空間的およびスペクトル的注意特徴を統合するための効率的特徴統合（EFF）機構を実装する。
• 再構成済みおよび真値HSIに離散フーリエ変換（DFT）を適用し、周波数ドメイン表現を計算して監視に用いる。
• 学習可能な係数αを有する動的周波数レベル損失（FDL）を設計し、高周波成分の不足を適応的にペナルティ化することで、微細なテクスチャの再構成を向上させる。
• 局所的な周波数表現を精緻化し、周波数監視におけるグローバルバイアスを回避するため、パッチベースの周波数スペクトル計算（p=3）を適用する。
• ピクセルレベル再構成損失と周波数ドメイン損失を組み合わせたマルチ損失目的関数に基づき、エンドツーエンドでモデルを学習する。α=2を採用することで、SSIM、PSNR、LFDのバランスが最適化される。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己注意機構と比較して、高分解能空間的・スペクトル的注意が、HSI再構成における微細なスペクトル的・空間的詳細の保持にどのように寄与するか？
• RQ2 動的周波数ドメイン監視は、特に高周波成分において、再構成済みHSIと真値HSIスペクトルの差異をどの程度低減するか？
• RQ3 空間的・スペクトル的および周波数ドメインの両方で共同最適化することで、ピクセルレベル再構成指標を上回る知覚的品質がどのように向上するか？
• RQ4 本手法で提案するデュアルドメイン学習フレームワークは、真値が利用できない実世界のHSIデータセットにも一般化可能か？
• RQ5 周波数ドメインペナルティ強度と再構成品質の最適なバランスは何か？また、それは視覚的および定量的性能にどのように影響するか？

主な発見

• CAVEデータセットにおいて、HDNetは比較手法の中で最高のPSNR（34.34）とSSIM（0.9572）を達成し、α=2を用いることでLFDが13.3238も大幅に低減された。
• 実HSIデータでは、真値が利用できないため定量的評価が不可能であるが、TSA-Net や DGSMP と比較して、よりシャープな高周波成分のテクスチャと低減された歪みを示す視覚的に優れた結果を生成した。
• 周波数距離係数α=2が、PSNR、SSIM、LFDの間で最良のトレードオフを実現し、α=1 や α=3 よりも知覚的品質と周波数忠実度で優れた性能を示した。
• パッチベースの周波数解析（p=3）は最適な周波数表現と精緻化を達成しており、p>3では局所的バイアスへの過適合により性能が劣化した。
• 視覚的比較では、HDNetが周波数空間において真値に最も近いスペクトルを再構成し、チェッカーパattersやスペクトルのずれといったアーチファクトを最小限に抑えた。
• HR空間的・スペクトル的注意と動的FDL監視の組み合わせにより、相互に強化され、向上した分解能がより良い周波数整合性をサポートし、逆に周波数整合性の向上が分解能の向上を促進する。