[論文レビュー] Learning to Maintain Natural Image Statistics

Roey Mechrez, Itamar Talmi+2 more|arXiv (Cornell University)|Mar 13, 2018

Advanced Image Processing Techniques参考文献 38被引用数 24

ひとこと要約

本論文は、特徴量の分布を明示的にモデル化することで自然画像の統計的性質を維持する、新しいフィードフォワードCNNアプローチを提案する。これにより、学習データの要件が桁違いに低減され、単一画像超解像および高解像度の表面法線推定において最先端の性能を達成し、敵対的学習とは補完的な代替手法を提供する。

ABSTRACT

Maintaining natural image statistics is a crucial factor in restoration and generation of realistic looking images. When training CNNs, photorealism is usually attempted by adversarial training (GAN), that pushes the output images to lie on the manifold of natural images. GANs are very powerful, but not perfect. They are hard to train and the results still often suffer from artifacts. In this paper we propose a complementary approach, whose goal is to train a feed-forward CNN to maintain natural internal statistics. We look explicitly at the distribution of features in an image and train the network to generate images with natural feature distributions. Our approach reduces by orders of magnitude the number of images required for training and achieves state-of-the-art results on both single-image super-resolution, and high-resolution surface normal estimation.

研究の動機と目的

• GANの画像修復および生成における限界、たとえば学習の不安定性やアーチファクトの問題を解決すること。
• 写真のようなリアルな画像モデルを学習する際に一般的に見られる膨大なデータ要件を低減すること。
• 敵対的損失に依存せずに、自然な内部画像統計を保持するフィードフォワードCNNを開発すること。
• 単一画像超解像および高解像度の表面法線推定において最先端の性能を達成すること。
• 内部特徴量分布に焦点を当てることで、GANベースの手法とは補完的な代替手法を提供すること。

提案手法

• 本手法は、学習された統計的事前知識を用いて、画像内の特徴量の分布を明示的にモデル化する。
• フィードフォワードCNNを、自然画像の内部特徴量分布と一致するように生成する画像を学習させる。
• 訓練目的は敵対的識別ではなく、特徴表現における統計的一致性を最適化することである。
• 本手法は内部統計を監視信号として活用し、大規模な実画像データセットへの依存を低減する。
• 特徴空間における自然性を強制する微分可能な損失を用いて、エンドツーエンドでネットワークを訓練する。
• 同じアーキテクチャ的および訓練原則を、超解像および表面法線推定の両タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習を用いずに、フィードフォワードCNNが自然画像の統計的性質を維持できるか？
• RQ2 内部特徴量分布のモデル化が、画像修復タスクにおけるデータ要件をどの程度低減できるか？
• RQ3 アーチファクト低減および写真的リアリズムの観点から、明示的な特徴量分布モデル化はGANベースの手法と比べてどのように差異を示すか？
• RQ4 この手法は、超解像や表面法線推定といった多様な画像修復タスクに一般化可能か？
• RQ5 非敵対的で統計に基づくアプローチの、写真的リアリスティックな画像生成における性能の限界は何か？

主な発見

• 提案手法は、標準的なGANベースのアプローチと比較して、学習に必要な画像数を桁違いに削減した。
• ベンチマーク指標において、既存手法を上回る優れた結果を単一画像超解像タスクで達成した。
• 高解像度の表面法線推定においても最先端の性能を発揮し、優れた一般化性能を示した。
• 敵対的学習を用いないにもかかわらず、GANベースの代替手法と比較して、アーチファクトが少なく、より自然な出力を生成した。
• 最小限のアーキテクチャ的変更で、多様な画像修復タスクにおいても強力な性能を維持した。
• 内部特徴量分布のモデル化は、写真的リアリスティックな画像生成のための、実用的で効果的な敵対的学習の代替手段であることが確認された。