[論文レビュー] Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis

Chuan Li, Michael Wand|arXiv (Cornell University)|Jan 18, 2016

Computer Graphics and Visualization Techniques参考文献 22被引用数 68

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（dCNNs）と生成的マルコフ確率場（MRFs）を組み合わせることで、写真的でないスタイル転送の両方を向上させる、画像合成の新規手法を提案する。VGG-19の高レベルdCNN特徴量（例：relu3_1およびrelu4_1）にMRFの事前分布を適用することで、局所的な構造的一致性が強制され、アーチファクトが減少し、顔の特徴や物体といった複雑なミクロ構造のより現実的で整合性のある合成が可能になる。これは、標準的なdCNNベースの手法に比べ、構造的一致性の観点で優れている。

ABSTRACT

This paper studies a combination of generative Markov random field (MRF) models and discriminatively trained deep convolutional neural networks (dCNNs) for synthesizing 2D images. The generative MRF acts on higher-levels of a dCNN feature pyramid, controling the image layout at an abstract level. We apply the method to both photographic and non-photo-realistic (artwork) synthesis tasks. The MRF regularizer prevents over-excitation artifacts and reduces implausible feature mixtures common to previous dCNN inversion approaches, permitting synthezing photographic content with increased visual plausibility. Unlike standard MRF-based texture synthesis, the combined system can both match and adapt local features with considerable variability, yielding results far out of reach of classic generative MRF methods.

研究の動機と目的

• 空間的制約が弱いため、dCNNベースの画像合成手法が幻覚的または現実的でないパターンを生成するという限界に対処すること。
• MRFからの局所的構造的事前分布を深層特徴空間に組み込むことで、写真的スタイル転送を改善すること。
• 写真的スタイルと芸術的スタイルの両方の合成を、視覚的整合性とミクロ構造の保持を伴って可能にすること。
• dCNN逆問題手法で一般的に見られる過剰な活性化や現実的でない特徴の混合を低減すること。
• 判別的深層ネットワークと生成的MRFモデルの相乗効果を活用し、構造的な画像生成を実現すること。

提案手法

• コンテンツ画像およびスタイル画像から階層的深層特徴を抽出するためにVGG-19ネットワークを用い、MRFモデリングにrelu3_1およびrelu4_1層に焦点を当てる。
• 高レベルdCNN特徴量に生成的MRFモデルを適用し、合成画像における局所的なピクセル群の整合性と空間的整合性を強制する。
• 深層特徴空間における最近傍探索を用いて、スタイル画像と合成画像の間で局所的特徴パターンを一致させることで、MRF正則化を実装する。
• コンテンツ損失（特徴活性化の一致）とMRFベースの構造的損失（ピクセル群の類似性）の両方を最小化することで、合成画像を最適化する。
• 低レベル特徴から始まり、高レベル表現に段階的に精錬するマルチスケール最適化戦略を採用する。
• 局所的に整合性のある意味のある特徴集合をスタイル画像から再利用することを促進するピクセルベースのMRF事前分布を採用する。

実験結果

リサーチクエスチョン

• RQ1 MRF事前分布と深層畳み込み特徴を組み合わせることで、スタイル転送における合成画像の構造的一致性が向上するか？
• RQ2 高レベルdCNN特徴量にMRF正則化を適用することで、dCNNベースの画像合成における過剰な活性化や現実的でない特徴の混合がどのように低減されるか？
• RQ3 MRF-dCNNハイブリッド手法は、標準的なdCNNベースのスタイル転送（例：Gatys et al.）に比べ、どのような状況で優れるか、あるいは劣るか？
• RQ4 本手法は、写真的スタイルと芸術的スタイルの両方において、ミクロ構造（例：顔の特徴、物体の形状）をどの程度保持できるか？
• RQ5 従来のMRFが高次元のピクセル群空間のため失敗するような、複雑で繰り返しのないスタイルにも、本手法は一般化可能か？

主な発見

• MRF-dCNNハイブリッド手法は、Gatysらの手法に比べ、目、口、車の形状といったミクロ構造の保持において、より構造的に整合性のある画像を生成する。
• MRF事前分布による局所的特徴の一貫性の強制により、dCNN逆問題で一般的な幻覚的アーチファクトが低減される。
• 写真的スタイル転送において、ベースラインのdCNN手法に比べ、視覚的整合性が向上するが、まだピxls単位の正確さまでは達していない。
• コンテンツ画像とスタイル画像の間に良い局所的ピクセル群の一致が存在する場合には、本手法は高品質な結果を生成するが、そうでない場合にはコンテンツ固有の特徴を保持できない場合がある。
• 強い透視的または形状の違い（例：白い犬とイエローダイノーサウルス）がある場合、本手法はコンテンツ固有の特徴を再現できないが、Gatysらの手法はより適応的に動作する。
• 本手法は変形可能な構造（例：顔、車両）に対して最も効果を発揮するが、対称的または剛体な建築的構造では、構造的アーチファクトを生じる可能性がある。