[論文レビュー] Understanding disentangling in $\beta$-VAE

Christopher Burgess, Irina Higgins+5 more|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 280

ひとこと要約

本論文は、β-VAE が情報ボトルネックの観点からなぜ分離表現を学習するかを分析し、分離性と再構成を改善するための容量増加トレーニング制度を提案する。

ABSTRACT

We present new intuitions and theoretical assessments of the emergence of disentangled representation in variational autoencoders. Taking a rate-distortion theory perspective, we show the circumstances under which representations aligned with the underlying generative factors of variation of data emerge when optimising the modified ELBO bound in $\\beta$-VAE, as training progresses. From these insights, we propose a modification to the training regime of $\\beta$-VAE, that progressively increases the information capacity of the latent code during training. This modification facilitates the robust learning of disentangled representations in $\\beta$-VAE, without the previous trade-off in reconstruction accuracy.

研究の動機と目的

• β-VAE がレート-歪みの観点でどのように分離表現を促進するかを調査する。
• 情報ボトルネックと事後-事前容量が潜在軸の形成に与える役割を理解する。
• 再構成品質を損なうことなく分離性を改善するために、潜在容量を段階的に増加させるトレーニングの修正を提案する。

提案手法

• β-VAE を、q(z|x) がデコーダへデータ情報を伝送するノイズの多いチャネルとして機能する情報ボトルネックとして位置づける。
• β重み付き KL 項を、潜在チャネルを通じて伝送される情報の上限に関連づける。
• 容量制約の下で因子ごとの情報配分を示す簡略化モデルを用いる（因子ごとの KL 項）。
• 訓練中に目標 KL（容量）を徐々に増加させる容量制御目的を実証し、逐次的な分離を促す。
• dSprites や chairs のようなデータセットで訓練し、潜在の遍歴と因子の整合を可視化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ β-VAE は潜在軸を変動の基盤となる生成因子と整列させる傾向があるのか？
• RQ2 訓練中の潜在容量の増加が分離性と再構成品質にどう影響するのか？
• RQ3 制御された容量増加は、異なるデータセット（例：dSprites、3D Chairs）で堅牢な分離を生み出すか？
• RQ4 標準 VAE と比較したβ-VAE の表現の局所性と軸整列に寄与する要因は何か？

主な発見

• β-VAE の分離は、データ尤度に最も寄与する因子に容量を配分しつつデータ局所性を保つ圧力から生じる。
• 容量を徐々に増やすと、位置・尺度・形状・回転・色など、異なる生成因子に対応する軸に整列した潜在因子が現れる。
• 容量増加トレーニングは、固定 β-VAE 目的より再構成品質を改善しつつ堅牢な分離をもたらす。
• カラー付き dSprites と 3D Chairs では、潜在の遍歴が要因特異的な変化を示し、高品質な再構成とともに解釈可能な分離軸を示す。
• 提案された容量制御目的（目標 KL に徐々に近づく）は、通常の再構成と分離のトレードオフなしに分離を実現可能にする。