[論文レビュー] An Improved Semi-Supervised VAE for Learning Disentangled Representations

Weili Nie, Zichao Wang+2 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 5

ひとこと要約

本稿では、利用可能な場合に推論された潜在コードを真のラベルに置き換えるラベル置換（LaRVAE）を導入した半教師付きVAEを提案し、教師ありラベルを用いて表現の分離性を向上させる。この手法により、生成器の正則化が行われ、合成データおよび実世界データの両方において、分離性の質と制御可能な生成性能が従来の半教師付きVAEを上回る。

ABSTRACT

Learning interpretable and disentangled representations is a crucial yet challenging task in representation learning. In this work, we focus on semi-supervised disentanglement learning and extend work by Locatello et al. (2019) by introducing another source of supervision that we denote as label replacement. Specifically, during training, we replace the inferred representation associated with a data point with its ground-truth representation whenever it is available. Our extension is theoretically inspired by our proposed general framework of semi-supervised disentanglement learning in the context of VAEs which naturally motivates the supervised terms commonly used in existing semi-supervised VAEs (but not for disentanglement learning). Extensive experiments on synthetic and real datasets demonstrate both quantitatively and qualitatively the ability of our extension to significantly and consistently improve disentanglement with very limited supervision.

研究の動機と目的

• 利用可能な真のラベルが限られている半教師付き設定において、分離表現を学習する課題に対処すること。
• 限られた監視情報を用いて、教師なし分離表現学習における同定不能性問題を克服すること。
• ラベル付きデータとVAEの生成的構造を効果的に活用することで、分離性の性能を向上させること。
• 半教師付きVAEにおけるラベル置換と標準ラベル損失を統合する理論的裏付けのあるフレームワークを構築すること。
• 多様なデータセットにおいて、分離性の質と制御可能な生成性能に一貫した向上を示すこと。

提案手法

• ラベル置換を導入：訓練中、利用可能な場合に、推論された潜在コード $ q_{\phi}(\bm{\xi}|\mathbf{x}) $ を真のラベル $ \mathbf{y} $ に置き換える。
• 真のラベルを用いてデータ生成をガイドする正則化済みのデコーダー損失を含むVAE目的関数を修正する。
• VAEの枠組み内で、ラベル置換とラベル損失の両方を自然に組み込む一般化された半教師付き分離表現学習フレームワークを定式化する。
• 因子化された事前分布 $ p(\bm{\xi}) $ と深層ニューラルネットワークデコーダー $ p_{\theta}(\mathbf{x}|\bm{\xi}) $ を用い、合計相関正則化を適用して分離性を促進する。
• 標準的な非教師あり損失とラベル置換正則化を含む、修正されたELBO目的関数を用いてモデルを訓練する。
• 分離性の評価にラベルトレバーサルを適用：1つのラベル次元を変化させながら他の次元を固定し、生成画像を用いて制御性と一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 限られた真のラベルが、半教師付きVAE設定において分離性を顕著に向上させ得るか？
• RQ2 ラベル置換は、分離性性能の向上において、標準ラベル損失と比較してどのように優れているか？
• RQ3 ラベル置換は、分離表現学習における生成サンプルの制御性をどの程度向上させ得るか？
• RQ4 提案手法は、生成データにおけるモード崩壊や分布シフトを低減しつつ、分離性の質を維持できるか？
• RQ5 ラベル置換機構は、半教師付き分離表現学習の統一的枠組み内で理論的に正当化できるか？

主な発見

• LaRVAEは、合成データ（dSprites, 3DShapes）および実世界データ（CelebA）の両方において、ベースラインのSS-β-TCVAEを著しく上回る分離性性能を達成した。
• ラベルトレバーサルの結果、LaRVAEは意図した属性のみが変化し、固定された属性が正しく維持された画像を生成しているのに対し、ベースラインはそのような制御性に欠けている。
• 3DShapesでは、LaRVAEがラベル次元に従い、物体の色、サイズ、形状を意図した通りに変化させる画像を生成できたが、ベースラインは正しい属性を制御できなかった。
• CelebAでは、対応するラベル次元をトレバーサルした際、LaRVAEは正しい顔貌属性（例：薄い顔、前髪、眼鏡）を有する画像を生成し、ベースラインよりも優れた制御性を示した。
• 定性的な結果から、LaRVAEは固定されたラベル次元に対して生成画像間で属性の一貫性を維持しているのに対し、ベースラインはしばしば誤った属性（例：誤った壁や物体の色）を導入していた。
• わずかなアーティファクト（例：誤った壁の色）が見られるものの、LaRVAEは定量的分離性指標および定性的な生成品質の両面で、常にベースラインを上回った。