[論文レビュー] Deep Single Image Manipulation

Yael Vinker, Eliahu Horwitz+2 more|arXiv (Cornell University)|May 4, 2021

Advanced Image Processing Techniques参考文献 18被引用数 10

ひとこと要約

本論文では、入力の拡張を活用し、エッジやセグメンテーションなどのプリミティブな表現（例：エッジ、セグメンテーション）を入力として用いることで、トレーニングにたった1枚のターゲット画像のみを必要とする、複雑な画像操作を実行する深層条件付き敵対的生成モデルを提案する。この手法は、大規模で多様なデータセットを必要とせず、単一画像操作分野で最先端のパフォーマンスを達成する。

ABSTRACT

Image manipulation has attracted much research over the years due to the popularity and commercial importance of the task. In recent years, deep neural network methods have been proposed for many image manipulation tasks. A major issue with deep methods is the need to train on large amounts of data from the same distribution as the target image, whereas collecting datasets encompassing the entire long-tail of images is impossible. In this paper, we demonstrate that simply training a conditional adversarial generator on the single target image is sufficient for performing complex image manipulations. We find that the key for enabling single image training is extensive augmentation of the input image and provide a novel augmentation method. Our network learns to map between a primitive representation of the image (e.g. edges and segmentation) to the image itself. At manipulation time, our generator allows for making general image changes by modifying the primitive input representation and mapping it through the network. We extensively evaluate our method and find that it provides remarkable performance.

研究の動機と目的

• 大規模で多様なデータセットを必要とせずに、深層画像操作モデルをトレーニングする課題に対処すること。
• トレーニングにたった1枚のターゲット画像のみを用いて、効果的な画像操作を可能とすること。
• 分布のバイアスがないまま、多様な画像操作タスクに一般化できる手法を開発すること。
• 入力の拡張を用いて、1枚の画像のみで条件付きGANをトレーニングする可能性を検証すること。

提案手法

• プリミティブな表現（例：エッジ、セグメンテーション）を入力として、1枚のターゲット画像上で条件付き敵対的生成モデルをトレーニングする。
• 入力のプリミティブ表現に対して、広範なデータ拡張を適用し、多様なトレーニング例をシミュレートする。
• 敵対的トレーニングを通じて、プリミティブ表現から再構築された画像へのマッピングをモデルが学習する。
• 推論時、ユーザーはプリミティブ表現（例：エッジやセグメンテーションの変更）を修正し、トレーニング済みの生成モデルを用いて新しい画像バージョンを生成する。
• 画像の現実性と構造的整合性を保つために、敵対的損失を用いてエンドツーエンドで生成モデルをトレーニングする。
• 生成モデルは、プリミティブ入力を条件として用い、本物の画像と生成画像を区別する判別器と連携する条件付きGANフレームワークに依存する。

実験結果

リサーチクエスチョン

• RQ1 たった1枚のターゲット画像のみを用いて、画像操作のための深層ニューラルネットワークを効果的にトレーニングできるか？
• RQ2 広範な入力の拡張は、複雑な画像操作のための単一画像トレーニングをどの程度効果的に可能にするか？
• RQ3 1枚の画像でトレーニングされたモデルは、ファインチューニングなしで多様な画像操作タスクに一般化できるか？
• RQ4 プリミティブ表現（エッジ、セグメンテーション）は、制御可能な画像生成を可能にする上でどのような役割を果たすか？

主な発見

• 提案手法は、トレーニングにたった1枚の画像のみを用いることで、高品質な画像操作を達成し、大規模データセットの必要性を排除する。
• 広範な入力の拡張は、単一画像トレーニングにおけるモデルの一般化性能とパフォーマンスを顕著に向上させる。
• プリミティブ表現の入力を変更することで、モデルは多様な画像操作を効果的に実行する。
• 従来手法と比較して、単一画像操作タスクにおいて本手法は最先端のパフォーマンスを示す。