[論文レビュー] Deep demosaicking for multispectral filter arrays

Kazuma Shinoda, Shoichiro Yoshiba+1 more|arXiv (Cornell University)|Aug 24, 2018

Advanced Image Fusion TechniquesEngineering参考文献 9被引用数 20

ひとこと要約

本稿では、2段階アプローチ（双線形補間 followed 3D畳み込み層を備えた残差ネットワーク（ResNet）の精練）を用いた深層学習ベースの多スペクトル画像用デモザイキング手法を提案する。CAVEデータセットにおいて平均PSNRが43.05 dBに達し、双線形補間（34.58 dB）およびPPID（40.38 dB）を著しく上回り、アーティファクトの抑制と画像品質の向上を実証した。

ABSTRACT

We propose a novel demosaicking method for multispectral filter arrays based on a deep convolutional neural network. The proposed method first interpolates mosaicked multispectral images utilizing a bilinear approach, then applies a residual network to initial demosaicked images. The residual network consists of various three-dimensional convolutional layers and a rectified linear unit for describing the features of a multispectral data cube. Experimental results reveal that the proposed method outperforms conventional demosaicking methods.

研究の動機と目的

• RGB Bayerパターンと比較して高い欠損画素率を示す多スペクトルフィルタアレイ（MSFA）を用いて撮影されたモザイク化されたデータから、フル解像度の多スペクトル画像を再構築する課題に対処すること。
• 従来の補間手法で一般的に見られる色あざやかさの乱れやエッジアーティファクトを低減するために、深層学習を活用してデモザイキング品質を向上させること。
• 空間的およびスペクトル的次元における特徴表現を強化するため、双線形補間と3D畳み込み層を備えた残差ネットワーク（ResNet）を組み合わせた新規な2段階フレームワークを開発すること。
• 残差学習と3D畳み込みが、特に微細なディテールの保持と再構築誤差の低減において、多スペクトルデモザイキングに有効であることを実証すること。

提案手法

• まず、各スペクトルバンドを独立して処理し、N×Nウィンドウ（N = MSFAブロックサイズ + 1）を用いた双線形補間を適用して初期デモザイクド画像を生成する。
• 次に、6つのモジュールを有する深層残差ネットワーク（ResNet）を用いて初期画像を精練する。各モジュールには3D畳み込み層とReLU活性化関数が含まれる。
• 各ResNetモジュールでは、特徴マップの次元を一致させるために1×1×1畳み込みを用いたショートカット接続を採用し、残差学習を可能にするとともに、劣化の抑制を図る。
• 最終層では、32個の特徴マップを1つの残差マップに統合し、初期デモザイクド画像に加算することで最終出力を得る。
• 空間的およびスペクトル的次元を同時に処理する3D畳み込み（例：3×3×3 または 1×1×1 カーネル）を採用し、多スペクトルデータキューブ内の局所的信号変動を捉える。
• CAVEデータセットの32枚の画像を用いて8分割交差検証を実施し、メモリと計算コストを管理するためバッチサイズを8に設定してネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 双線形補間と3D-ResNetを組み合わせた2段階の深層学習フレームワークは、従来の手法に比べて多スペクトル画像デモザイキング性能を向上させることができるか？
• RQ2 ショートカット接続と3D畳み込みは、デモザイクド多スペクトル画像におけるアーティファクト低減とPSNR向上にどの程度寄与するか？
• RQ3 本手法は、双線形補間およびPPI差分（PPID）手法と比較して、PSNRおよび視覚的品質の点で優れているか？
• RQ4 3D畳み込みは、2D畳み込みと比較して、デモザイキング過程でスペクトル的・空間的特徴をどの程度効果的に保持できるか？
• RQ5 残差ネットワーク内のショートカット接続をすべて削除した場合、性能にどの程度の影響が生じるか？

主な発見

• 本手法はCAVEデータセットにおいて平均PSNRが43.05 dBに達し、双線形補間（34.58 dB）およびPPID（40.38 dB）をそれぞれ8.47 dBおよび2.67 dB上回った。
• ぼやけやエッジアーティファクトが低減された：『fake and real peppers』の画像では、本手法の出力では文字がはっきりと識別可能であったが、双線形補間の結果では不明瞭であった。
• PPID結果に見られたエッジアーティファクトは、本手法で抑制されたことが『clay』および『beads』画像の比較で確認された。
• 『fake and real tomatoes』では、初期の双線形補間段階での残存誤差により色あざやかさのアーティファクトが残存した。これは第一段階の前処理を改善する必要があることを示唆している。
• すべてのショートカット接続を削除した場合、平均PSNRが5.05 dB低下した。これは、残差学習が性能に果たす重要な役割を裏付けている。
• 3D畳み込みを2D畳み込みに置き換えた場合、PSNRが1.19 dB低下した。これは、3D畳み込みが空間的・スペクトル的特徴の共同捕捉に優れていることを証明している。