[論文レビュー] Super-Resolution with Deep Convolutional Sufficient Statistics

Joan Bruna, Pablo Sprechmann+1 more|arXiv (Cornell University)|Nov 18, 2015

Advanced Image Processing Techniques参考文献 34被引用数 85

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）から得られる特徴量を十分統計量として用いることで、マルチモーダルな高周波数コンテンツを捉える深層畳み込み十分統計量モデルを提案する。この手法により、平均回帰（regression-to-the-mean）を軽減し、安定的かつ変形に不変な特徴量を用いて不確実性をモデル化することで、点推定よりも優れた知覚的品質を実現し、計算コストが高くなるものの、よりシャープなテクスチャを再構成する。

ABSTRACT

Inverse problems in image and audio, and super-resolution in particular, can be seen as high-dimensional structured prediction problems, where the goal is to characterize the conditional distribution of a high-resolution output given its low-resolution corrupted observation. When the scaling ratio is small, point estimates achieve impressive performance, but soon they suffer from the regression-to-the-mean problem, result of their inability to capture the multi-modality of this conditional distribution. Modeling high-dimensional image and audio distributions is a hard task, requiring both the ability to model complex geometrical structures and textured regions. In this paper, we propose to use as conditional model a Gibbs distribution, where its sufficient statistics are given by deep convolutional neural networks. The features computed by the network are stable to local deformation, and have reduced variance when the input is a stationary texture. These properties imply that the resulting sufficient statistics minimize the uncertainty of the target signals given the degraded observations, while being highly informative. The filters of the CNN are initialized by multiscale complex wavelets, and then we propose an algorithm to fine-tune them by estimating the gradient of the conditional log-likelihood, which bears some similarities with Generative Adversarial Networks. We evaluate experimentally the proposed approach in the image super-resolution task, but the approach is general and could be used in other challenging ill-posed problems such as audio bandwidth extension.

研究の動機と目的

• 単一画像超解像における平均回帰問題を解消するため、高解像度画像の条件付き分布を点推定に頼らずにモデル化すること。
• 複雑なテクスチャや幾何的構造を捉えることのできるスケーラブルで構造的な推論フレームワークを開発すること。
• 深層CNNからの非線形十分統計量を用いて、高周波数コンテンツにおける不確実性を符号化することで、知覚的品質を向上させること。
• 多スケール複素ウェーブレットから初期化されたCNNフィルタを用いて、微細なディテールの安定的かつ高精度な再構成を可能にすること。また、条件付き対数尤度勾配推定によるファインチューニングを実施する。

提案手法

• 条件付き分布を $ p(y|x) \propto \exp(-\|\Phi(x) - \Psi(y)\|^2) $ としてモデル化し、$ \Phi(x) $ と $ \Psi(y) $ を十分統計量として機能する深層CNN特徴量とする。
• 多スケール複素ウェーブレットから初期化された深層CNNを用い、局所的な変形に対して安定し、定常的テクスチャにおける分散を低減する。
• 条件付き対数尤度の勾配を推定するファインチューニングアルゴリズムを採用し、生成的対抗ネットワーク（GAN）と同様の精神的アプローチで特徴量をデータに適応させる。
• テスト時における推論は、観測された低解像度入力と学習済み十分統計量と整合するサンプルを生成する非凸最適化問題を解くことで実施する。
• エンドツーエンドのファインチューニングの前段階として、散乱ネットワーク（scattering networks）を事前学習初期化に用い、幾何的に意味のある特徴量を提供する。
• 正確な尤度計算が困難であるため、条件付き尤度の代替目的関数を用いて学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層CNNベースの十分統計量は、超解像においてマルチモーダルな分布をモデル化でき、点推定を上回る性能を発揮するか？
• RQ2 高周波数画像コンテンツを表現するための安定的かつ変形に不変な特徴量は、どのように学習可能か？
• RQ3 ウェーブレットにインspiredした初期化は、超解像における再構成テクスチャの質と整合性を向上させるか？
• RQ4 条件付き対数尤度の最適化は、MSEベースの学習に比べてより優れた知覚的品質をもたらすか？
• RQ5 実際の応用において、構造的推論の計算コストは、フォワードパスによる点推定と比べてどの程度か？

主な発見

• 提案手法は、ベースラインCNNと比較して平均回帰アーティファクトを顕著に低減し、視覚的結果においてよりシャープな高周波数コンテンツを生成する。
• 散乱ネットワークのフィルタを条件付き対数尤度勾配推定によりファインチューニングすることで、再構成品質が向上し、特にテクスチャ領域でのアーティファクトが低減する。
• PSNRが低いにもかかわらず、MSE最適化による点推定よりも優れた知覚的品質を達成しており、視覚的なリアリズムが向上していることが示唆される。
• 推論ステップは計算コストが非常に高い：散乱特徴量を用いて $200 \times 200$ の画像を $\times3$ スケールで再構成するには5.26秒を要するが、ベースラインCNNでは0.1秒で完了する。
• 改善は見られるものの、極めて細かいテクスチャ上では人工的な高周波数コンテンツが生成され続けるため、極端な詳細のモデル化には限界がある。
• 本手法は、中間のCNN層における位相の組み合わせを通じて、不確実性の明示的かつ解釈可能な表現を提供し、整合性のある高周波数再構成を可能にする。