[論文レビュー] DNA-GAN: Learning Disentangled Representations from Multi-Attribute Images

Taihong Xiao, Jiapeng Hong+1 more|arXiv (Cornell University)|Nov 15, 2017

Digital Media Forensic Detection参考文献 15被引用数 34

ひとこと要約

DNA-GAN は、複数の属性を持つ画像から、分離可能で DNA のような潜在表現を学習する教師あり生成モデルである。各属性が潜在空間の別々で独立した成分に符号化されることで、特定の属性成分を消去・交換することにより、属性の制御された変更が施された現実的な画像を生成する。Multi-PIE および CelebA データセットにおいて、従来の手法に比べて優れた分離性と画像品質を達成している。

ABSTRACT

Disentangling factors of variation has become a very challenging problem on representation learning. Existing algorithms suffer from many limitations, such as unpredictable disentangling factors, poor quality of generated images from encodings, lack of identity information, etc. In this paper, we propose a supervised learning model called DNA-GAN which tries to disentangle different factors or attributes of images. The latent representations of images are DNA-like, in which each individual piece (of the encoding) represents an independent factor of the variation. By annihilating the recessive piece and swapping a certain piece of one latent representation with that of the other one, we obtain two different representations which could be decoded into two kinds of images with the existence of the corresponding attribute being changed. In order to obtain realistic images and also disentangled representations, we further introduce the discriminator for adversarial training. Experiments on Multi-PIE and CelebA datasets finally demonstrate that our proposed method is effective for factors disentangling and even overcome certain limitations of the existing methods.

研究の動機と目的

• 画像表現における複数の視覚的属性の分離を改善し、解釈可能性と制御性を高める課題に対処すること。
• 従来の手法の限界、例えば自明な解法、画像品質の低さ、属性操作時のアイデンティティ保持の欠如を克服すること。
• 消去および交換操作を用いた属性固有の潜在成分の操作により、制御可能な画像生成を実現すること。
• 反復的トレーニング戦略を用いて、属性が不均衡な多属性データセットにおいて、トレーニング効率と分離性を向上させること。
• ラベル付き属性データを用いて、特定の意味的意味を分離可能な潜在要因に固定する教師ありフレームワークを提供すること。

提案手法

• モデルは深層エンコーダを用い、潜在表現を属性関連部と属性無関係部に分割し、各属性が別個で独立した成分に符号化される。
• 消去操作は特定の属性成分を選択的に抑制し、その寄与度を明確に分離することで、1つの成分が画像全体を符号化する自明な解法を防ぐ。
• 属性ハイブリダイゼーションは、2つの符号化表現間の成分を入れ替えることで実現され、組み合わせた属性を持つ新しい画像が生成される。
• 判別器を用いた adversarial 訓練により高精細な画像再構成と生成が保証され、再構成損失により構造的詳細が保持される。
• 不均衡なデータセットに対応するため、反復的トレーニング戦略が採用され、ランダムペアサンプリングに比べて収束性と分離性の効率が向上する。
• モデルは教師ありラベルを活用して分離をガイドし、各潜在成分が特定で解釈可能な属性に対応することを保証する。

実験結果

リサーチクエスチョン

• RQ1 教師あり深層生成モデルは、各潜在成分が1つの解釈可能な属性に対応する分離可能な表現を学習できるか？
• RQ2 消去および交換といった潜在空間操作により、属性固有の操作はどのように達成できるか？
• RQ3 提案された反復的トレーニング戦略は、属性が不均衡な多属性データセットにおいて分離性とモデル性能を向上させるか？
• RQ4 DNA-GAN はアイデンティティおよび背景情報を保持しながら、正確な属性制御が可能な現実的な画像を生成できるか？
• RQ5 DNA-GAN は TD-GAN や IcGAN といった最先端手法と比較して、分離性の質と画像忠実度の面で優れているか？

主な発見

• DNA-GAN は、ボーダー、眼鏡、笑顔といった複数の属性を、明確に分離され、独立した潜在表現の成分に分解できている。
• 消去および交換操作により、ターゲット属性のみを変更した正確な属性編集が可能であり、現実的な画像が生成された。
• CelebA データセットにおいて、DNA-GAN は画像品質および分離性の面で TD-GAN や IcGAN を上回り、自明な解法や低品質な生成を回避している。
• 潜在空間における補間により明確な分離性が示され、ボーダーと眼鏡といった属性間で滑らかな遷移が観察された。
• モデルは未学習のデータに対しても良好に一般化しており、学習セットに存在しない新しいヘアスタイルの画像が生成されたことから裏付けられている。
• 反復的トレーニング戦略により、ランダムサンプリングに比べて不均衡データセットにおける分離性の効率と性能が向上した。