[論文レビュー] Imaging through glass diffusers using densely connected convolutional networks

Shuai Li, Mo Deng+3 more|ArXiv.org|Nov 18, 2017

Random lasers and scattering media参考文献 31被引用数 23

ひとこと要約

本稿では、前向き演算子や事前モデルの明示的定義なしに、ガラスディフューザを介したエンドツーエンドのイメージングを可能にする、密接に接続された畳み込みニューラルネットワークであるIDiffNetを提案する。データから散乱媒体の応答とオブジェクトの事前知識を学習することで、IDiffNetは多様なオブジェクトクラスにおいて優れた再構成品質と一般化性能を達成し、特に強い散乱およびスパarsなオブジェクト条件下で、従来のデコンボリューションおよびノイズ除去ネットワークを上回る性能を発揮する。これは、ネガティブピアソン相関係数損失を用いることで実現される。

ABSTRACT

Computational imaging through scatter generally is accomplished by first characterizing the scattering medium so that its forward operator is obtained; and then imposing additional priors in the form of regularizers on the reconstruction functional so as to improve the condition of the originally ill-posed inverse problem. In the functional, the forward operator and regularizer must be entered explicitly or parametrically (e.g. scattering matrices and dictionaries, respectively.) However, the process of determining these representations is often incomplete, prone to errors, or infeasible. Recently, deep learning architectures have been proposed to instead learn both the forward operator and regularizer through examples. Here, we propose for the first time, to our knowledge, a convolutional neural network architecture called "IDiffNet" for the problem of imaging through diffuse media and demonstrate that IDiffNet has superior generalization capability through extensive tests with well-calibrated diffusers. We found that the Negative Pearson Correlation Coefficient loss function for training is more appropriate for spatially sparse objects and strong scattering conditions. Our results show that the convolutional architecture is robust to the choice of prior, as demonstrated by the use of multiple training and testing object databases, and capable of achieving higher space-bandwidth product reconstructions than previously reported.

研究の動機と目的

• 散乱媒体（例：ガラスディフューザ）を介したイメージングにおいて、散乱媒体の知識が不完全であるため、従来の逆問題の解法が不適切となる課題に対処すること。
• 逆イメージングにおける明示的前向き演算子および正則化事前知識モデル化の制限を克服すること。これらはしばしば誤差を生じやすく、正確に特徴づけることが困難である。
• トレーニングデータから散乱媒体の応答とオブジェクト事前知識を同時に学習する、深層学習に基づくエンドツーエンドフレームワークを構築すること。
• 多様なオブジェクトタイプ、特にスパarsで複雑なシーンにおいて、強い散乱条件下でも再構成品質と一般化性能を向上させること。

提案手法

• スパーキルパターンから元の画像への逆写像を学習するための、エンドツーエンド学習を目的とした、密接に接続された畳み込みニューラルネットワークアーキテクチャであるIDiffNetを提案する。
• 空間的にスパarsなオブジェクトおよび強い散乱条件下で、MAE や MSE よりも効果的であると示された、ネガティブピアソン相関係数（NPCC）を損失関数として使用する。
• 複数のオブジェクトデータベース（例：文字、CIFAR-10、LFW顔画像）を用いて、キャリブレーション済みのディフューザデータでネットワークを学習させ、オブジェクトクラス間での一般化を可能にする。
• 明示的なパrametricモデル化なしに、前向き散乱演算子とオブジェクト事前知識の両方をデータ駆動型アプローチで暗黙的に学習する。
• 未知のオブジェクトデータベースでのテストと、ポisson雑音でトレーニングされたノイズ除去ニューラルネットワークとの比較により、耐障害性を検証する。
• 最大活性化パターン（MAP）解析を実施し、IDiffNetがノイズ低減のみではなく、イメージングシステム固有の空間相関構造を学習していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、明示的なモデル化なしに、トレーニングデータから散乱媒体の前向き応答とオブジェクト事前知識を暗黙的に学習できるか？
• RQ2 損失関数の選択（例：NPCC 対 MAE/MSE）が、強い散乱およびスパarsなオブジェクト条件下での再構成品質に与える影響は何か？
• RQ3 IDiffNetは、トレーニング時に見られなかったオブジェクトデータベースに対しても一般化できるか？
• RQ4 IDiffNetは、散乱によって生じるスパーキルパターンと、ピクセル単位のノイズを分離して学習する標準的なノイズ除去ネットワークとはどのように異なるか？
• RQ5 密接に接続されたアーキテクチャが、ディフューザを介したイメージングにおける特徴学習と再構成忠実度の向上に果たす役割は何か？

主な発見

• IDiffNetは、以前に報告された手法よりも高い空間帯域幅積の再構成を達成し、解像度の向上と詳細回復の改善を示している。
• ネガティブピアソン相関係数（NPCC）損失関数は、スパarsオブジェクトおよび強い散乱条件下で再構成品質を顕著に向上させ、MAE や MSE を上回る。
• IDiffNetは、文字、CIFAR-10、LFW顔画像など複数のオブジェクトデータベースに効果的に一般化しており、散乱およびオブジェクト事前知識の学習が堅牢であることを示している。
• IDiffNetは単なるノイズ低減を実行するのではなく、MAP解析およびノイズ除去ネットワークとの比較により、イメージングシステム固有の空間相関構造を学習していることが確認された。
• 600グリットのディフューザでは、MAPにより細かいテクスチャディティールが得られ、IDiffNetがより強い散乱強度に対応する複雑な散乱応答を学習していることが示唆された。
• ノイズ除去ネットワークはスパーキル画像に対して失敗し、ぼやけた出力しか得られなかったが、IDiffNetは明確で正確な画像を再構成した。これは、IDiffNetが単なるノイズ低減ではなく、システム固有のマッピングを学習していることを証明している。