[論文レビュー] Invariant Representations from Adversarially Censored Autoencoders

Ye Wang, Toshiaki Koike‐Akino+1 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 12

ひとこと要約

本論文は、MNISTにおける数字のクラスなどの余分な変数や感受性のある変数とから離れた不変表現を学習するために、条件付き変分オートエンコーダー（VAEs）と敵対的キャンセリングを組み合わせる新規手法を提案する。敵対的ネットワークを、表現から余分な変数を予測するように訓練し、VAEはこの予測を防ぐように訓練することで、再構成性能の低下を最小限に抑えつつ強い不変性を達成する。その結果、スタイル変換および生成サンプリングタスクにおける視覚的品質が向上する。

ABSTRACT

We combine conditional variational autoencoders (VAE) with adversarial censoring in order to learn invariant representations that are disentangled from nuisance/sensitive variations. In this method, an adversarial network attempts to recover the nuisance variable from the representation, which the VAE is trained to prevent. Conditioning the decoder on the nuisance variable enables clean separation of the representation, since they are recombined for model learning and data reconstruction. We show this natural approach is theoretically well-founded with information-theoretic arguments. Experiments demonstrate that this method achieves invariance while preserving model learning performance, and results in visually improved performance for style transfer and generative sampling tasks.

研究の動機と目的

• アイデンティティ、スタイル、または人口統計的属性などの余分な変動や感受性のある変数に不変なデータ表現を学習する課題に対処すること。
• 最適化やモデル近似の問題により、標準的な条件付きVAEsが十分な不変性を達成できないという限界を克服すること。
• 生成能力の低下を伴う従来の敵対的アプローチとは異なり、不変性を強制しながらもモデルの学習性能（例：再構成品質）を維持すること。
• 敵対的不変性手法を、二値または離散的な感受性変数にとどまらず、連続的またはカテゴリカルな変数へ一般化すること。
• スタイル変換や生成サンプリングなどの下流タスクにおける視覚的性能の向上を示すこと。

提案手法

• エンコーダーとデコーダーが余分な変数 s に条件付けられる条件付きVAEが使用され、表現の分離学習が可能になる。
• 敵対的ネットワークは、学習された表現 z から s を予測するように訓練され、一方VAEはこの予測性能を最小化するように訓練され、不変性が強制される。
• 訓練目的関数は、標準的なVAEの下界（ELBO）と、z における s 関連情報漏洩を罰する敵対的損失を組み合わせる。
• 本手法は、カテゴリカルな変数と連続変数の両方の余分な変数を扱えるように拡張され、二値感受性変数の仮定を超える。
• デコーダーは s と z の両方を用いて x を再構成するため、データ再構成の忠実度が保証されるとともに、z における不変コンテンツの明確な分離が可能になる。
• 相互情報量 I(s;z) は、補助的敵対ネットワークの交差エントロピーを用いて推定され、不変性の定量的指標が得られる。

実験結果

リサーチクエスチョン

• RQ1 敵対的キャンセリングは、条件付きVAEが学習する表現に不変性を効果的に強制できるか？
• RQ2 敵対的キャンセリングと条件付きVAEを組み合わせることで、代替の不変性手法と比較して、モデル学習性能（例：ELBOスコア）をより良く維持できるか？
• RQ3 スタイル変換および生成サンプリングタスクにおける本手法の視覚的性能は、ベースラインと比較してどのように向上しているか？
• RQ4 従来の敵対的不変性手法とは異なり、本手法は二値でない、または連続的な余分な変数にも一般化可能か？
• RQ5 敵対的損失重みを変化させた場合、不変性の強さと再構成品質のトレードオフはどのように変化するか？

主な発見

• 敵対的キャンセリングを施した条件付きVAEは、ベースラインの非条件付きVAEに対して97.1％の敵対的精度を達成したが、十分な λ 値を設定すると、ほぼランダム（約10％）に低下し、強い不変性が確認された。
• λ の増加に伴い、相互情報量 I(s;z) はほぼゼロにまで低下し、z における s 関連情報の有効な抑制が確認された。
• KLベースのキャンセリングと比較して、本手法はELBOスコアを著しく良好に維持しており、劣化やぼやけた生成が顕著に減少した。
• スタイル変換および生成サンプリングタスクにおける視覚的品質は、敵対的キャンセリングにより顕著に向上し、特に部分的に条件付けられた状況で顕著だった。
• 敵対的キャンセリングを施した非条件付きオートエンコーダーは、性能が急速に低下し、不変性を達成するにははるかに高い λ 値を必要とした。これは、条件付けの利点を確認するものであった。
• 本手法は、モデル学習への影響を最小限に抑えつつ不変性を達成でき、定量的および定性的な指標において、標準VAEおよび代替不変性技術を上回った。