[論文レビュー] Learning to synthesize: splitting and recombining low and high spatial frequencies for image recovery

Mo Deng, Shuai Li+1 more|arXiv (Cornell University)|Nov 19, 2018

Digital Holography and Microscopy参考文献 39被引用数 12

ひとこと要約

本稿では、低周波数成分と高周波数成分を別々に処理する2つの専用DNNと、第三の合成DNNを用いて周波数コンテンツを再バランス化する、深層学習フレームワークであるLS-DNNを提案する。訓練データにおける高周波数の不足と、前方演算子による高周波数の抑制という問題を緩和することで、超解像や位相再構成といった画像回復タスクにおいて優れた視覚的品質を達成する。

ABSTRACT

Deep Neural Network (DNN)-based image reconstruction, despite many successes, often exhibits uneven fidelity between high and low spatial frequency bands. In this paper we propose the Learning Synthesis by DNN (LS-DNN) approach where two DNNs process the low and high spatial frequencies, respectively, and, improving over [30], the two DNNs are trained separately and a third DNN combines them into an image with high fidelity at all bands. We demonstrate LS-DNN in two canonical inverse problems: super-resolution (SR) in diffraction-limited imaging (DLI), and quantitative phase retrieval (QPR). Our results also show comparable or improved performance over perceptual-loss based SR [21], and can be generalized to a wider range of image recovery problems.

研究の動機と目的

• 訓練データにおける高空間周波数の不足と、前方演算子による高周波数の抑制という、深層学習ベースの画像再構成における不均衡を解消すること。
• ImageNetのようなデータセットにおける低周波数事前分布の優位性により、標準的なDNNが細部の回復に失敗する問題を克服すること。
• 低周波数と高周波数の再構成を適応的に統合することで、全体的な構造と微細なテクスチャの両方を回復する手法を開発すること。
• 代表的な逆問題である回折限界画像における超解像とレンズレス位相定量再構成において、本手法を実証すること。
• 定量的指標（PSNRなど）が低い場合でも、最先端の感知損失法やDualCNNベースの手法を上回る視覚的品質を達成すること。

提案手法

• 周波数ドメインでの分解を用いて、入力信号を低周波数（LF）帯域と高周波数（HF）帯域に分割する。
• 自然な低周波数統計を保持するために、フィルタリングされていない訓練例からLF成分を再構成する低バンドDNN（DNN-L）を訓練する。
• 高周波数がデータセット内で不足しているのを補うために、高域通過フィルタをかけた例からHF成分を再構成する高バンドDNN（DNN-H）を訓練する。
• DNN-LとDNN-Hの出力を最適に融合するため、第三のDNN（DNN-S）を用いて最終画像の周波数コンテンツをバランスさせる。
• DNN-Hの学習を向上させるために、訓練データに周波数事前変調を適用し、アーチファクトを生成せずに高周波数の学習を強化する。
• ピxls単位の損失関数を用いて、合成と再構成忠実度を同時に最適化できるように、3つのネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 高周波数が訓練データに不足している場合、DNNにおける低周波数と高周波数の処理を分離することで、画像再構成の忠実度が向上するか？
• RQ2 学習された合成ネットワーク（DNN-S）は、全体的な構造と微細なディテールの両方を回復するために、周波数コンテンツを効果的に再バランス化できるか？
• RQ3 超解像タスクにおいて、LS-DNNは感知損失ベースの手法と比較して視覚的品質に優れているか？
• RQ4 LS-DNNは、視覚的リアリズムを保ちつつ、アーチファクトを低減させながら、DualCNNを上回る画像回復性能を示せるか？
• RQ5 訓練データの周波数ドメイン事前処理は、ノイズやリバーブを引き起こさずに、高周波数回復をどの程度向上させるか？

主な発見

• LS-DNNは、PSNRが低い場合でも、超解像および定量的位相再構成において、感知損失ベースの手法よりも視覚的に優れた再構成を達成する。
• DNN-S合成ネットワークは、すべての空間周波数において、真値と類似したパワー・スペクトル密度（PSD）プロファイルを生成し、DNN-LおよびDNN-H単体の性能を上回る。
• 4×超解像において、LS-DNNはPSNRがやや低いものの（24.57 vs. 22.42）、DualCNNに比べてよりシャープで微細なテクスチャの保持が優れている。
• 回折限界画像における前方演算子のハードカットによる高周波数コンテンツの損失を、本手法は効果的に緩和する。
• スペクトル事前変調のみを用いた場合と比較して、LS-DNNの再構成では高周波数アーチファクトが低減しており、DNN-Sによる効果的なバランスが示された。
• 前方演算子が高周波数を抑制し、訓練データに十分な高周波数が含まれないような多様な逆問題に対しても、本手法は良好な一般化性能を示す。