[論文レビュー] Disentangling Factors of Variation with Cycle-Consistent Variational Auto-Encoders

Ananya Harsh Jha, Saket Anand+2 more|arXiv (Cornell University)|Apr 27, 2018

Digital Media Forensic Detection参考文献 25被引用数 9

ひとこと要約

本稿では、ペairワイズ類似度ラベルによる弱い教師信号のみを用いて、画像内の指定済みおよび未指定要因の変動を分離するため、サイクル整合性を持つ変分自己オートエンコーダー（CC-VAE）を提案する。符号化済みおよび再構築済み潜在空間間のサイクル整合性を強制することで、生成モデルの退化を防ぎ、敵対的訓練を用いずに、安定的かつ高分解能な表現を達成する。これは、標準的な非敵対的手法に比べ、分解能および安定性の面で優れている。

ABSTRACT

Generative models that learn disentangled representations for different factors of variation in an image can be very useful for targeted data augmentation. By sampling from the disentangled latent subspace of interest, we can efficiently generate new data necessary for a particular task. Learning disentangled representations is a challenging problem, especially when certain factors of variation are difficult to label. In this paper, we introduce a novel architecture that disentangles the latent space into two complementary subspaces by using only weak supervision in form of pairwise similarity labels. Inspired by the recent success of cycle-consistent adversarial architectures, we use cycle-consistency in a variational auto-encoder framework. Our non-adversarial approach is in contrast with the recent works that combine adversarial training with auto-encoders to disentangle representations. We show compelling results of disentangled latent subspaces on three datasets and compare with recent works that leverage adversarial training.

研究の動機と目的

• 強い、個別要因ごとのアノテーションが存在しない状況における、分解能表現の学習という課題に対処すること。
• 指定済み（ラベル付き）要因と未指定（不要要因）要因を効果的に分離する非敵対的生成モデルの開発。
• 潜在空間次元数の選択に対するロバストネスを向上させ、標準VAEで一般的に見られる退化解を回避すること。
• サイクル整合性が、指定済みおよび未指定潜在部分空間間の情報漏洩を最小限に抑えることで、分解能を強制することの有効性を示すこと。
• 敵対的分解能手法の代替として、訓練の不安定性や一般化性能の低さを回避する弱教師付きの代替手法を提供すること。

提案手法

• モデルは、指定済み要因（s）と未指定要因（z）のそれぞれに独立した事前分布を持つ2つの別々の潜在空間を用いる。
• 符号化された潜在空間sとzから元の入力を再構築し、再符号化することで、サイクル整合性を確保する。
• エンコーダは入力画像をsおよびzの両潜在空間にマップし、デコーダはsおよびzから画像を再構築することで、再構築プロセスが分解能を保持することを強制する。
• 訓練目的関数は、標準的なVAEの再構築誤差およびKLダイバージェンス損失に加え、元のデータとサイクル再構築データとの乖離をペナルティ化するサイクル整合性損失を組み合わせる。
• ペアワイズ類似度ラベルを用いて、同じ指定済み要因（例：同じ数字クラス）を持つ画像をグループ化し、個別要因アノテーションが不要な弱い教師信号を実現する。
• アーキテクチャは、敵対的判別器を一切用いずに、確率的勾配降下法を用いてエンドツーエンドで訓練され、GANベースの代替手法よりも単純かつ安定している。

実験結果

リサーチクエスチョン

• RQ1 弱い教師信号の設定下で、サイクル整合性を効果的に指定済みおよび未指定要因の分解能に用いることができるか？
• RQ2 サイクル整合性を持つ非敵対的VAEは、標準VAEで見られるように、デコーダが指定済み潜在変数を無視するような退化問題を回避できるか？
• RQ3 指定済みおよび未指定潜在空間の次元数の変更に対して、分解能はどの程度ロバストか？
• RQ4 異なる画像間で潜在変数を補間または交換することで、高品質で制御可能な画像サンプルを生成できるか？
• RQ5 強い教師信号が存在しない状況で、サイクル整合性は敵対的訓練に比べてより優れた分解能をもたらすか？

主な発見

• 提案されたCC-VAEモデルは、高次元潜在空間であっても、デコーダが指定済み潜在変数を無視するような退化解を効果的に回避する。
• MNIST、2D Sprites、LineModの3つのデータセットにおいて、敵対的訓練や次元数のハイパーパramータチューニングを一切行わずに、ロバストな分解能を示した。
• 画像生成結果から、明確な分解能が確認された：z要因を異なる画像間で交換すると、視点やテクスチャの妥当な変化が得られ、s要因を交換すると意図したクラスアイデンティティの変化が生じた。
• sおよびz空間における線形補間は滑らかで意味のある遷移を示し、それぞれの潜在空間が明確に分離された要因を捉えていることを確認した。
• 標準正規分布からzをサンプリングしながらsを固定することで、多様で妥当なサンプルが得られ、モデルの生成能力を裏付けた。
• Szabóら[8]の非敵対的手法と比較して、CC-VAEは幅広い潜在空間次元数において性能を維持する一方、後者は次元数の選択に極めて敏感であった。