[論文レビュー] Pixel-aware Deep Function-mixture Network for Spectral Super-Resolution

Lei Zhang, Zhiqiang Lang+5 more|arXiv (Cornell University)|Mar 24, 2019

Advanced Image Fusion Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、画素に応じたアダプティブで学習可能な受容 field と、画素ごとのマッピング関数を備えた新しい関数混合（FM）ブロックを用いて、スペクトルスーパーレゾリューションのためのピクセルに配慮した深層関数混合ネットワークを提案する。FMブロックは、異なる受容 field を持つ複数の並列サブネットワークと、それらの出力を線形結合するための混合サブネットワークを組み合わせており、画素ごとの重みを生成することで、文脈とマッピングの動的選択を可能にする。本手法は、3つのベンチマークデータセットにおいて最先端の性能を達成し、RMSEは最小0.98、PSNRは最大49.87 dBにまで低下する。

ABSTRACT

Spectral super-resolution (SSR) aims at generating a hyperspectral image (HSI) from a given RGB image. Recently, a promising direction for SSR is to learn a complicated mapping function from the RGB image to the HSI counterpart using a deep convolutional neural network. This essentially involves mapping the RGB context within a size-specific receptive field centered at each pixel to its spectrum in the HSI. The focus thereon is to appropriately determine the receptive field size and establish the mapping function from RGB context to the corresponding spectrum. Due to their differences in category or spatial position, pixels in HSIs often require different-sized receptive fields and distinct mapping functions. However, few efforts have been invested to explicitly exploit this prior. To address this problem, we propose a pixel-aware deep function-mixture network for SSR, which is composed of a new class of modules, termed function-mixture (FM) blocks. Each FM block is equipped with some basis functions, i.e., parallel subnets of different-sized receptive fields. Besides, it incorporates an extra subnet as a mixing function to generate pixel-wise weights, and then linearly mixes the outputs of all basis functions with those generated weights. This enables us to pixel-wisely determine the receptive field size and the mapping function. Moreover, we stack several such FM blocks to further increase the flexibility of the network in learning the pixel-wise mapping. To encourage feature reuse, intermediate features generated by the FM blocks are fused in late stage, which proves to be effective for boosting the SSR performance. Experimental results on three benchmark HSI datasets demonstrate the superiority of the proposed method.

研究の動機と目的

• 既存の深層畳み込みニューラルネットワーク（CNN）ベースのスペクトルスーパーレゾリューション（SSR）手法における固定受容 field と汎用マッピング関数の制限を克服すること。
• 空間的およびカテゴリ固有の文脈に基づき、SSRにおける受容 field のサイズとマッピング関数の画素ごとの適応を可能にすること。
• 学習可能で動的な統合メカニズムを用いて、異種の画素特性をモデル化することで、スペクトルスーパーレゾリューションの精度を向上させること。
• FMブロックの積み重ねと中間特徴の統合により、特徴の再利用とモデルの柔軟性を高めること。

提案手法

• 受容 field のサイズが異なる複数の並列サブネットワーク（基本関数）と、別個の混合関数から構成される関数混合（FM）ブロックを導入する。
• 混合関数が画素ごとの注目重みを生成し、基本関数の出力を線形結合することで、画素ごとの文脈とマッピングの動的選択を実現する。
• 画像全体にわたり画素固有のマッピングを学習する柔軟性を高めるために、複数のFMブロックを積み重ねる。
• FMブロックからの中間特徴を後段のスキップ接続で統合し、特徴の再利用を促進し、表現学習を向上させる。
• アーキテクチャはモジュール型であり、さまざまな深層CNNバックボーンに統合可能である。
• 線形混合の基本関数を用い、ハイパースペクトル再構成の標準回帰損失（例：RMSE）を用いたエンド・ツー・エンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、スペクトルスーパーレゾリューションの性能向上に寄与するように、画素ごとに受容 field のサイズとマッピング関数を動的に適応させることができるか？
• RQ2 多スケールの基本関数の学習可能で画素ごとの混合は、固定受容 field や汎用マッピング手法に比べ、SSRで優れた性能を発揮するか？
• RQ3 後段の特徴統合は、SSRネットワークの性能と一般化能力にどのように影響を与えるか？
• RQ4 精度と効率の観点から、基本関数の数とモデルの複雑さの最適なトレードオフは何か？

主な発見

• 提案手法は、NTIRE2018データセットでテストRMSE 0.98、PSNR 49.87 dBを達成し、先行する最先端手法を上回る性能を示した。
• アブレーションスタディの結果、画素ごとの混合と中間特徴の統合の両方が不可欠であることが確認され、いずれかを除去すると顕著な性能低下が生じた。
• 基本関数の数を1から5に増加させることで、RMSEは1.47から0.98に改善され、モデル容量の向上による利点が明確に示された。
• FMブロックの数（p）も性能に影響を与え、最適な結果はp=6（RMSE: 1.00、PSNR: 49.59）で得られ、p>6では性能向上の余地が著しく小さくなった。
• NTIRE2018、CAVE、HSxの3つのベンチマークデータセットにおいて一貫した優位性を示し、RMSE、PSNR、SAM、SSIMのすべての指標で改善が確認された。
• 再構成されたハイパースペクトル画像の構造的およびスペクトル的整合性が高く、SSIMは0.9958、SAMは1.00と高い水準を達成した。