[論文レビュー] Fader Networks: Manipulating Images by Sliding Attributes

Guillaume Lample, Neil Zeghidour+4 more|arXiv (Cornell University)|Jun 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 278

ひとこと要約

Fader Networks は潜在表現に対して対抗的訓練を通じて属性不変の潜在空間を学習し、デコーダに異なる属性値を入力することで連続的な属性制御画像編集を可能にします。

ABSTRACT

This paper introduces a new encoder-decoder architecture that is trained to reconstruct images by disentangling the salient information of the image and the values of attributes directly in the latent space. As a result, after training, our model can generate different realistic versions of an input image by varying the attribute values. By using continuous attribute values, we can choose how much a specific attribute is perceivable in the generated image. This property could allow for applications where users can modify an image using sliding knobs, like faders on a mixing console, to change the facial expression of a portrait, or to update the color of some objects. Compared to the state-of-the-art which mostly relies on training adversarial networks in pixel space by altering attribute values at train time, our approach results in much simpler training schemes and nicely scales to multiple attributes. We present evidence that our model can significantly change the perceived value of the attributes while preserving the naturalness of images.

研究の動機と目的

• 指定された属性値を変化させることにより対になり変換の例を必要とせずに画像を操作する方法を動機づけ、定義する。
• 潜在空間で画像の顕著な情報を属性値から解き放ち、制御可能な生成を可能にする。
• 潜在空間における属性不変性を対向的な罰則で強制するエンコーダ–デコーダアーキテクチャを開発する。
• ピクセル空間の対向的方法よりも再構成品質が高い多属性編集をスケーラブルに実現する。

提案手法

• 入力画像 x をエンコーダ E(theta_enc) を用いて潜在表現 z にエンコードする。
• 再構成画像を D(theta_dec)(z, y') を用いてデコードする。ここで y' はターゲット属性ベクトルである。
• E(x) から y を予測しようとする識別器で対抗訓練することにより z に属性不変性を課す。
• 再構成損失 L_AE = x と D(E(x), y) の平均二乗誤差を最小化して忠実な再構成を保証する。
• 識別器を欺くようにエンコーダを訓練しつつ正確な再構成を可能にすることで、y に対して不変で再構成には情報を持つ潜在空間を形成する。

実験結果

リサーチクエスチョン

• RQ1 特定の属性に対して不変な潜在表現を学習しつつ、正確な画像再構成と属性制御生成を同時に実現できるか。
• RQ2 推論時の連続的な属性値が現実的で自然な編集を生み出し、アイデンティティと画像品質を保つか。
• RQ3 この潜在空間対向アプローチは多属性編集においてピクセル空間の対向手法とどのように比較されるか。
• RQ4 方法は複数属性および高解像度画像へのスケーラブル性を持つか。

主な発見

• モデルは属性を入れ替えず高品質で自然な再構成を実現する（FadNet AE）ほか、ピクセル空間の対向ベースラインより自然さとスワップ精度が優れている。
• FadNet Swap は複数属性（例： Mouth、Glasses、Smile）で高い属性スワップ精度を達成し、IcGAN Swap より人間の知覚上の現実感が大幅に向上する。
• 潜在空間は属性に対して不変となり、デコード時に y' を変えるだけでアイデンティティを保ちつつ編集を実現できる。
• この手法は多属性編集をサポートし、高解像度画像へスケール可能で、再構成と編集品質の両方で多くのピクセル空間対向法を上回る。
• 定量的な人間評価において、Fader Networks はいくつかの属性でベースラインより自然さとスワップ有効性で優れている。