[論文レビュー] Visual Attribute Transfer through Deep Image Analogy

Jing Liao, Yuan Yao+3 more|arXiv (Cornell University)|May 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 32

ひとこと要約

本論文は、深層畳み込みニューラルネットワーク（CNN）の事前学習済み特徴を用いて、意味的に類似しているが視覚的に異なる画像（例：スケッチから写真、絵画から風景）間での視覚的属性転送を可能にする「ディープ・イメージアナロジー」を提案する。この手法は、深層特徴空間における粗くから細かくまでの最近傍フィールド計算を用い、色、テクスチャ、スタイルの転送を、外観の極端な変化に対しても強力に実現する。従来手法に比べ、スタイル転送、色転送、タイムラプス生成の分野で優れた性能を発揮する。

ABSTRACT

We propose a new technique for visual attribute transfer across images that may have very different appearance but have perceptually similar semantic structure. By visual attribute transfer, we mean transfer of visual information (such as color, tone, texture, and style) from one image to another. For example, one image could be that of a painting or a sketch while the other is a photo of a real scene, and both depict the same type of scene. Our technique finds semantically-meaningful dense correspondences between two input images. To accomplish this, it adapts the notion of "image analogy" with features extracted from a Deep Convolutional Neutral Network for matching; we call our technique Deep Image Analogy. A coarse-to-fine strategy is used to compute the nearest-neighbor field for generating the results. We validate the effectiveness of our proposed method in a variety of cases, including style/texture transfer, color/style swap, sketch/painting to photo, and time lapse.

研究の動機と目的

• 外観が著しく異なるが意味的に類似した画像間で、色、テクスチャ、スタイルといった視覚的属性を転送する課題に取り組む。
• スケッチと写真のような極端な視覚的変化に耐えられず失敗する低レベルマッチング手法（例：オプティカルフロー、PatchMatch）の限界を克服する。
• 従来手法が失敗するような異なるドメイン（例：絵画、スケッチ、写真）の画像間で、空間的に一貫性があり意味的に意味のある密な対応関係を確立する。
• ドメイン特化のチューニングを必要とせず、多様な画像ペアに一般化可能な視覚的属性転送の汎用フレームワークを開発する。
• 深層特徴と粗くから細かくまでの最近傍フィールド戦略を組み合わせることで、高品質なスタイライゼーションおよび転送結果を達成する。

提案手法

• 事前学習済みCNN（例：VGG-19）を用いて、意味的コンテンツを表現する深層特徴空間に画像アナロジー枠組みを適応させ、ドメイン間マッチングを可能にする。
• CNNの中間特徴マップを用い、ソース画像とリファレンス画像間で空間的に一貫性があり意味的に意味のある密な対応関係を確立する。
• 最近傍フィールド（NNF）の計算に粗くから細かくまでの戦略を実装し、マッチングの正確性と効率性を向上させる。
• 視覚的属性転送問題を双方向推論タスクとして定式化：同時に転送画像と再構築リファレンス画像を推定する。
• CNN特徴の階層的性質を活用し、低層ではテクスチャと色、高層では意味的構造をエンコードするように、属性転送をガイドする。
• エネルギー最小化を用いてNNFにおける空間的整合性と滑らかさを強制し、テクスチャが乏しいまたは曖昧な領域でも耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNからの深層特徴は、意味的に類似しているが外観が著しく異なる画像間で、強力な密な対応関係を確立できるか？
• RQ2 スケッチから写真への極端な視覚的変化に対処する際、従来の低レベルマッチング手法（例：PatchMatch、オプティカルフロー）と比較して、ディープ・イメージアナロジーはどのように性能を発揮するか？
• RQ3 この手法は、スタイル転送、色転送、タイムラプス生成といった多様な視覚的属性転送タスクにどの程度一般化可能か？
• RQ4 セグメンテーションマスクや動画シーケンスを必要とせず、高品質な結果を生成できるか？これは一部の最先端手法とは対照的である。
• RQ5 この手法の失敗モードは、CNNベースの特徴表現や幾何的不変性の限界とどのように関係しているか？

主な発見

• 本手法は、意味的に類似しているが視覚的に異なる画像（例：スケッチから写真、絵画から実際の風景）間で、色、テクスチャ、スタイルといった視覚的属性を効果的に転送できる。
• NRDCに比べて、特に領域固有のマッピング（例：芝生領域）において局所的なアプローチにより、色転送の性能が優れている。
• 単一のリファレンス画像を用いてタイムラプスシーケンスの生成が可能であり、対応するシーン要因（例：木から木）をマッチングすることで、フレーム間で妥当な意味的整合性を実現する。
• Luan et al. [2017] と比較して、顔や構造的領域でポスタリゼーション効果を回避し、より自然な結果を生成する。
• 写真から写真への転送において、Shih et al. [2013] や Luan et al. [2017] と同等の視覚的品質を達成するが、動画やセグメンテーションマスクを必要とせず、単一のリファレンス画像のみで実現する。
• 失敗事例には、誤ったマッチング領域（例：帽子）、スケール/視点の変化、活性度が低いテクスチャが乏しい領域が含まれており、微細な構造や幾何的に複雑な構造に対する深層特徴表現の限界が示唆される。