[論文レビュー] Capturing Label Characteristics in VAEs

Tom Joy, Sebastian M. Schmon+3 more|arXiv (Cornell University)|Jun 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 6

ひとこと要約

本稿では、ラベルの値を潜在変数に直接マッピングするのではなく、潜在空間内で豊かなラベル特徴を明示的にモデル化する新しい変分オートエンコーダー、特徴抽出可変オートエンコーダー（CCVAE）を提案する。ラベル値とその背後にある視覚的特徴を分離することで、滑らかなトレース、多様な条件付き生成、特徴の転送といったより効果的で分離された干渉が可能になり、分類タスクにおいても高い性能を維持する。

ABSTRACT

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

研究の動機と目的

• 従来のVAEがラベル値を潜在変数に直接マッピングするという限界に対処し、ラベルに関連する豊かな分離可能な視覚的特徴を捉えられないこと。
• ラベル自体ではなく、その背後にある知覚的特徴（例：髪の色、笑顔、肌の色など）を分離してモデル化する手法の開発。
• ラベル値を変更せずに特徴を操作したり、画像間で特徴を転送したりするような、細かく意味のある潜在空間内での干渉を可能にすること。
• 特徴の分離に注力しても、分類などの標準的な教師ありタスクにおける性能を維持すること。
• 特徴に基づく分離が、より解釈可能で制御可能なデータサンプルの生成・編集を実現することを示すこと。

提案手法

• ラベル特徴を別個の潜在変数（特徴潜在変数）として明示的にモデル化する新しいVAEアーキテクチャ、CCVAEを導入。
• 特徴潜在変数に構造的事前分布を用いることで、ラベル特徴を他のコンテンツ要因から分離するよう促す、新しい変分目的関数を採用。
• 入力データとラベルを特徴潜在変数にマッピングする条件付き推論ネットワークを用い、知覚的に意味のある特徴を効果的に抽出できるようにする。
• 他の潜在変数を固定したまま特徴潜在変数のみを操作することで、滑らかなトレースや特徴転送を可能にする。
• 画像間で特徴潜在変数を交換することで、ラベルに整合する特徴を保持しつつ、背景や文脈を変更する特徴交換を実現。
• 特徴保持の定量的評価のため、事前学習済み分類器を用い、元の画像と交換後の画像間の対数確率のずれを最小化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル値を潜在変数に直接マッピングしないことで、VAE内でラベル特徴の分離可能で知覚的に意味のある表現を学習できるか？
• RQ2 ラベル値とその視覚的特徴を分離することで、潜在空間内での干渉の質と制御性が向上するか？
• RQ3 CCVAEは、ラベルに整合する特徴を保持しながら、画像間で特徴を転送できるか？また、このタスクでベースラインを上回る性能を示せるか？
• RQ4 特徴の分離に注力しても、CCVAEは標準的な分類および生成タスクで高い性能を維持できるか？
• RQ5 CCVAEは、特定のラベル干渉に対して多様で高精度なサンプルを生成でき、モード崩壊を起こさないか？

主な発見

• CCVAEは、すべてのベースラインと比較して、特徴交換における特徴保持性が顕著に優れており、CelebAでは平均対数確率差が1.177（f=0.004）であり、M2の2.118を下回る。
• Chexpertデータセットでは、CCVAEが対数確率シフトを1.084（f=1.0）に抑え、M2（1.415）とMVAE（1.601）を下回り、優れた特徴忠実度を示した。
• CCVAEは、ラベル値を変えずに特徴の変化（例：髪の色や笑顔の強さの変化）を滑らかにトレース可能であり、これは直接ラベル-潜在変数マッピングでは実現できない。
• モデルは多様な条件付き生成をサポートする。同じラベル干渉に対して複数の異なるサンプルを生成可能であり、ベースラインがしばしば単一モードに収束するのとは対照的である。
• 特徴交換により、肌の色、髪の色、メイクなどの正確な視覚的特徴が1枚の画像から別の画像に転送され、背景や文脈が保持されていることが、定性的および定量的分析で確認された。
• CCVAEは、標準的な分類および生成タスクにおいて、従来手法と同等またはそれを上回る性能を示しており、特徴の分離が予測性能を損なわないことを裏付けた。