[論文レビュー] Disentangling Factors of Variation by Mixing Them

Qiyang Hu, Attila Szabó+3 more|arXiv (Cornell University)|Nov 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 12

ひとこと要約

この論文では、教師なしの深層学習手法を提案し、ポーズ、色、顔の特徴など、画像の変動要因を、それぞれ独立で解釈可能な特徴チャンクに分離する。自己符号化器を用い、2つの新しい学習目的を導入する：各チャンクが他の属性の変化に対して頑健であることを保証する不変性目的、および、1つのチャンクだけが使われる退化解を防ぐ分類制約。本手法は、ラベルなしのデータを用いてもMNIST、Sprites、CelebAで最先端の分離性能を達成する。

ABSTRACT

We propose an approach to learn image representations that consist of disentangled factors of variation without exploiting any manual labeling or data domain knowledge. A factor of variation corresponds to an image attribute that can be discerned consistently across a set of images, such as the pose or color of objects. Our disentangled representation consists of a concatenation of feature chunks, each chunk representing a factor of variation. It supports applications such as transferring attributes from one image to another, by simply mixing and unmixing feature chunks, and classification or retrieval based on one or several attributes, by considering a user-specified subset of feature chunks. We learn our representation without any labeling or knowledge of the data domain, using an autoencoder architecture with two novel training objectives: first, we propose an invariance objective to encourage that encoding of each attribute, and decoding of each chunk, are invariant to changes in other attributes and chunks, respectively; second, we include a classification objective, which ensures that each chunk corresponds to a consistently discernible attribute in the represented image, hence avoiding degenerate feature mappings where some chunks are completely ignored. We demonstrate the effectiveness of our approach on the MNIST, Sprites, and CelebA datasets.

研究の動機と目的

• 手動によるアノテーションやドメイン固有の知識に依存せずに、分離可能な画像表現を学習すること。
• 分離表現学習におけるショートカット問題（モデルが唯一の特徴チャンクに依存する現象）を解消すること。
• 顔の属性の転送や検索などの解釈可能な画像操作を可能にするために、意味的に意味のある変動要因を別々の特徴チャンクに分離すること。
• 敵対的訓練と特徴の混合を活用して、完全に教師なしの学習フレームワークを構築すること。

提案手法

• 2段階のオートエンコーダー構造を用い、2つの画像からの特徴を混合して再構築することで、属性間で符号化と復元の不変性を強制する。
• 各特徴チャンクが他の属性やチャンクの変化に対しても安定することを保証する不変性目的を導入し、分離性を促進する。
• 各特徴チャンクに分類制約を適用し、それが一貫して識別可能な属性に対応することを保証し、チャンクが無視される退化写像を防ぐ。
• 生成された混合特徴チャンクから現実的な画像を生成するために、敵対的損失（DCGANまたはBEGANを用いて）をデコーダーに適用し、視覚的品質と一般化性能を向上させる。
• 再構築損失、敵対的損失、分類制約を統合した共同目的関数を用いて、エンドツーエンドでモデルを学習する。
• 特徴チャンクを連結して最終的な表現を構成し、特定の属性に特化した検索や転送などの下流タスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし、ドメイン固有の知識なしで、完全に教師なしの方法で変動要因の分離を学習できるか？
• RQ2 異なる属性にわたる符号化と復元における不変性をどのように強制することで、真の分離性を達成できるか？
• RQ3 教師なし分離学習において、唯一の特徴チャンクがすべての情報を保持するというショートカット問題を効果的に緩和できるか？
• RQ4 学習された特徴チャンクが、属性の転送や検索といった意味のある画像操作をどの程度サポートできるか？
• RQ5 定量的・定性的な性能の観点から、本手法は最先端の分離モデルと比較してどの程度優れているか？

主な発見

• 本手法は、MNIST、Sprites、CelebAで競争力ある分離性能を達成し、BEGANを用いた場合に髪の色属性で96.4%の分類精度、DCGANを用いた場合に95.8%の分類精度を達成した。
• CelebAでは、明るさ、眼鏡、髪の色、髪型、ポーズ／笑顔という5つの意味的に意味のある属性が、属性転送と最近傍検索の両方で確認された。
• 分類制約が退化解を効果的に防ぎ、チャンクサイズが64にまで大きくなっても、すべての特徴チャンクが表現に意味的に寄与することを保証した。
• 不変性目的が顕著に分離性能を向上させ、異なる画像属性にわたって一貫した属性転送および検索性能を示した。
• DCGANに比べて画像生成品質が優れているにもかかわらず、BEGANベースのモデルが分離指標で優れた性能を示し、敵対的訓練下での特徴の分離性がより良いことが示唆された。
• 本手法は、チャンクサイズの変化に対して頑健であり、16次元で性能が頭打つ傾向を示した。また、大きなチャンクサイズでも効果を示し、ショートカットを回避する分類制約の有効性を裏付けた。