[論文レビュー] Temporally Disentangled Representation Learning

Weiran Yao, Guangyi Chen+1 more|arXiv (Cornell University)|Oct 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、固定された因果的ダイナミクスと分布シフトを活用することで、定常的および非定常的条件下において、非パrametricで時間遅れのある潜在的因果変数を順序データから同定する、時間的非混合表現学習（TDRL）というフレームワークを提案する。分布シフトを遷移変化と観測変化に分解することで、時間的因果構造を無視するベースラインと比較して優れた非混合性能を達成する。

ABSTRACT

Recently in the field of unsupervised representation learning, strong identifiability results for disentanglement of causally-related latent variables have been established by exploiting certain side information, such as class labels, in addition to independence. However, most existing work is constrained by functional form assumptions such as independent sources or further with linear transitions, and distribution assumptions such as stationary, exponential family distribution. It is unknown whether the underlying latent variables and their causal relations are identifiable if they have arbitrary, nonparametric causal influences in between. In this work, we establish the identifiability theories of nonparametric latent causal processes from their nonlinear mixtures under fixed temporal causal influences and analyze how distribution changes can further benefit the disentanglement. We propose extbf{ exttt{TDRL}}, a principled framework to recover time-delayed latent causal variables and identify their relations from measured sequential data under stationary environments and under different distribution shifts. Specifically, the framework can factorize unknown distribution shifts into transition distribution changes under fixed and time-varying latent causal relations, and under observation changes in observation. Through experiments, we show that time-delayed latent causal influences are reliably identified and that our approach considerably outperforms existing baselines that do not correctly exploit this modular representation of changes. Our code is available at: \url{https://github.com/weirayao/tdrl}.

研究の動機と目的

• 固定されたダイナミクス下で、任意の時間遅れを持つ非パrametricな潜在的因果過程の同定可能性条件を確立すること。
• ノイズや遷移ダイナミクスの変化といった分布シフトが、定常的および非定常的環境における同定可能性をどのように向上させるかを分析すること。
• 分布シフトを遷移変化と観測変化に分離可能な形で因子化する、整合的なフレームワークを構築すること。
• 線形性や指数型分布族の分布のパラメトリックな形を事前に知らない状態でも、因果的に関連する潜在変数を回復可能にすること。
• 独立性や線形ダイナミクスを仮定する既存手法を上回るために、時間遅れ因果的影響を明示的にモデル化すること。

提案手法

• 潜在系列の事後分布推定に、双方向推論ネットワークを備えたVAEベースのアーキテクチャを用いる。
• 非線形な遷移事前分布ネットワークにより、潜在変数の逆ダイナミクスをモデル化し、残差を推定し、正規化フローのためのヤコビアン行列式を計算する。
• 分布シフトを、例えば質量や重力の変化といった遷移ダイナミクスの変化と観測ノイズの変化にモジュラリティに分解する。
• 履歴を補助情報として利用し、ダイナミクスと観測の変化要因を通じて非定常性を活用することで、同定可能性を向上させる。
• 再パラメータライゼーションを備えた因子化推論ネットワークにより、微分可能なサンプリングとELBO目的関数を介したエンドツーエンド学習を可能にする。
• 潜在次元数や最大時間遅れといったハイパーパrameterは、ELBO損失を用いて選択され、ロバスト性と高い再構成品質を確保する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricで時間遅れのある潜在的因果過程は、観測変数の非線形混合物から、どのような条件下で同定可能か？
• RQ2 ノイズや遷移強度の変化といった分布シフトは、定常的環境における同定可能性をどのように向上させるか？
• RQ3 分布シフトを、遷移ダイナミクスと観測プロセスの変化にモジュラリティに分解可能か？ これにより非混合性が向上するか？
• RQ4 提案されたフレームワークは、独立性、線形性、またはパラメトリックなノイズ分布を仮定する既存手法をどのように上回るか？
• RQ5 切り替えエッジや影響力の変動といった時変動ダイナミクス下でも、因果的に関連する潜在プロセスを回復可能か？

主な発見

• TDRLは、線形性や独立性の仮定をせず、定常的および非定常的環境の両方で時間遅れのある潜在的因果変数を効果的に同定した。
• 特に非線形遷移を伴う設定において、PCL、GCL、SlowVAE、SNICAといったベースラインと比較して顕著に高い非混合性能を達成した。
• 分布シフトが、遷移ダイナミクスと観測ノイズの変化に明確に因子化され、より正確でモジュラリティの高い表現学習が可能になった。
• 真の潜在次元が不明な状態でも、過剰パラメータ化とロバストなハイパーパrameter選択のおかげで、高い再構成品質と非混合性を維持した。
• 実験結果から、合成データおよび実世界の動画データセットにおいて、TDRLは既存手法を上回り、MCC（最大符号化レート低減）スコアが向上した。
• アブレーションスタディにより、時間遅れ因果的影響のモデル化が不可欠であることが確認され、このコンponentを除去すると性能が著しく低下した。