[論文レビュー] Contrastively Disentangled Sequential Variational Autoencoder

Junwen Bai, Weiran Wang+1 more|arXiv (Cornell University)|Oct 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 58被引用数 14

ひとこと要約

本稿では、潜在空間における時間に依存しない要因（静的）と時間依存要因（動的）を明示的に分離することで、自己教師あり脱同相表現学習のための新規手法である対照的脱同相逐次変分オートエンコーダー（C-DSVAE）を提案する。対照的相互情報推定を用いて脱同相性を促進するとともに、データ拡張を活用して誘導的バイアスを組み込み、動画および音声ベンチマークで最先端の性能を達成した。

ABSTRACT

Self-supervised disentangled representation learning is a critical task in sequence modeling. The learnt representations contribute to better model interpretability as well as the data generation, and improve the sample efficiency for downstream tasks. We propose a novel sequence representation learning method, named Contrastively Disentangled Sequential Variational Autoencoder (C-DSVAE), to extract and separate the static (time-invariant) and dynamic (time-variant) factors in the latent space. Different from previous sequential variational autoencoder methods, we use a novel evidence lower bound which maximizes the mutual information between the input and the latent factors, while penalizes the mutual information between the static and dynamic factors. We leverage contrastive estimations of the mutual information terms in training, together with simple yet effective augmentation techniques, to introduce additional inductive biases. Our experiments show that C-DSVAE significantly outperforms the previous state-of-the-art methods on multiple metrics.

研究の動機と目的

• 時間に依存しない（静的）および時間に依存する（動的）要因を分離した、解釈性およびサンプル効率性の向上を目的とした逐次データにおける脱同相表現の学習。
• 特に高次元の逐次データにおいて、強い誘導的バイアスがなければ意味のある脱同相性を学習するという課題への対処。
• 対照的学習およびデータ拡張を組み込むことで相互情報推定を強化し、表現品質の向上。
• 対照的推定と逐次VAEを統合的に組み合わせた原理的フレームワークの構築。

提案手法

• C-DSVAEは、静的要因 $ s $ と動的要因 $ z_{1:T} $ を持つ因子分解された潜在空間を用いて、入力系列の同時尤度をモデル化し、$ p(s, z_{1:T}) = p(s)p(z_{1:T}) $ を仮定する。
• 入力 $ x_{1:T} $ と潜在要因 $ s, z_{1:T} $ 間の相互情報量を最大化するとともに、$ s $ と $ z_{1:T} $ 間の相互情報量を最小化する、新しい下界（ELBO）を導入する。
• 対照的推定を用いて相互情報量の項を近似し、増強された視点（運動増強 $ x_{1:T}^m $ とコンテンツ増強 $ x_{1:T}^c $ ）を用いて正例ペアを生成する。
• データ増強を用いて対照的学習の正例を生成する——$ z_{1:T}^m $ を $ z_{1:T} $ に対する運動に関する正例とし、$ s^c $ を $ s $ に対するコンテンツに関する正例とする。
• 学習目的には、$ I(s; x_{1:T}) $ および $ I(z_{1:T}; x_{1:T}) $ の対照的推定を含み、$ I(s; z_{1:T}) $ はミニバッチ重み付きサンプリング（MWS）で推定する。
• アーキテクチャはLSTMを用いて逐次符号化し、$ s $ と $ z_i $ の両方を用いてフレームを復元することで、脱同相生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照的相互情報推定は、逐次変分オートエンコーダーにおける脱同相性の向上に寄与するか？
• RQ2 対照的学習とデータ増強の組み合わせは、逐次データにおける不変表現学習にどの程度効果的か？
• RQ3 静的および動的要因を分離することで、標準VAEと比較してより優れた脱同相性と下流タスク性能が得られるか？
• RQ4 対照的推定は、標準のMWSベースのMI推定に比べて、どの程度脱同相表現学習で優れているか？
• RQ5 コンテンツと運動を独立に保ちつつ、潜在空間における滑らかで意味のある補間を維持できるか？

主な発見

• MUGデータセットでは81.16%の精度を達成し、DSVAE（54.29%）およびすべてMWS推定を用いたDSVAE（66.25%）を顕著に上回った。
• SM-MNISTでは97.84%の精度を達成し、DSVAE（88.19%）およびすべてMWSを用いたDSVAE（91.81%）を上回った。
• TIMITではFréchet Audio Distance（FAD）およびInception Score（IS）が向上し、バッチサイズ256におけるコンテンツEERは4.03%、運動EERは31.81%を記録した。
• 対照的推定による相互情報量の推定により、MWSで測定した $ I(s; x_{1:T}) $ が単調に増加し、効果的な表現学習が示された。
• 潜在空間の補間では、コンテンツの遷移が滑らかに保たれるとともに運動が維持されており、潜在空間における脱同相性と連続性が確認された。
• アブレーションスタディにより、MWSベースのMI推定よりも対照的推定が性能向上に寄与していることが確認され、有用な誘導的バイアスの注入役割が強調された。