[論文レビュー] Learning Temporally Causal Latent Processes from General Temporal Data

Weiran Yao, Yuewen Sun+3 more|arXiv (Cornell University)|Oct 11, 2021

Bayesian Modeling and Causal Inference参考文献 38被引用数 6

ひとこと要約

本稿では、独立ノイズ条件を強制し、流れベースの事前分布を用いて非定常性をモデル化することで、非線形かつ可逆な観測時系列データの混合から時間的因果的潜在過程を理論的に裏付けられた枠組みであるLEAPを提案する。時間遅れの依存関係と非定常統計を活用することで、スパarsityや最小性の仮定がなくても、ベースラインと比較して優れた分離性と因果構造の回復を達成する。

ABSTRACT

Our goal is to recover time-delayed latent causal variables and identify their relations from measured temporal data. Estimating causally-related latent variables from observations is particularly challenging as the latent variables are not uniquely recoverable in the most general case. In this work, we consider both a nonparametric, nonstationary setting and a parametric setting for the latent processes and propose two provable conditions under which temporally causal latent processes can be identified from their nonlinear mixtures. We propose LEAP, a theoretically-grounded framework that extends Variational AutoEncoders (VAEs) by enforcing our conditions through proper constraints in causal process prior. Experimental results on various datasets demonstrate that temporally causal latent processes are reliably identified from observed variables under different dependency structures and that our approach considerably outperforms baselines that do not properly leverage history or nonstationarity information. This demonstrates that using temporal information to learn latent processes from their invertible nonlinear mixtures in an unsupervised manner, for which we believe our work is one of the first, seems promising even without sparsity or minimality assumptions.

研究の動機と目的

• スパarsityや最小性の仮定を必要とせず、一般の時系列データから時間的因果的潜在過程を同定すること。
• 時間遅れの因果的依存関係を有する非線形・非パラメトリック・パラメトリックな潜在過程の、証明可能な同定条件を確立すること。
• VAEに類似したアーキテクチャにおいて、学習可能な因果的プロセス事前分布を用いてこれらの条件を強制する深層生成フレームワークを開発すること。
• 時系列構造と非定常性が、可逆な非線形混合からの因果関係を持つ潜在要因の信頼性の高い回復を可能にすることを実証すること。
• 合成データおよび実世界のデータセット（モーショングラップや動画データを含む）上で手法を検証し、分離性と因果構造回復の両面で優れた性能を示すこと。

提案手法

• 識別可能性を保証するため、独立ノイズ（IN）条件を強制する学習可能な因果的プロセス事前分布をVAEに拡張する。
• 流れベースの正規化フローを用いて、潜在プロセス事前分布における非定常性をモデル化し、時間に依存する関数的・分布的形態を捉える。
• 時間遅れの因果的関係が保持され、識別可能であることを保証するため、潜在ダイナミクスに構造的制約を課す。
• 時間的依存関係を活用して識別可能性を高めるために、真の時系列とシャッフルされた時系列を区別するコントラスト学習目的関数を採用する。
• 本物の時系列と並び替えられた時系列を区別する2ストリームディスクライバを導入し、時系列構造の認識を強制する。
• VAEとディスクライバの両方の学習率を調整して、訓練の安定化と数値的問題の防止を図るAdamW最適化手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 非線形的かつ可逆な観測データの混合から、時間遅れの因果的依存関係を有する時間的因果的潜在過程を、どのような条件下で同定できるか？
• RQ2 関数的形態やノイズ分布における非定常性は、どのようにして潜在因果的プロセスの識別可能性を達成するために活用できるか？
• RQ3 深層生成モデルは、スパarsityや最小性の仮定に依存せずに、因果関係を持つ潜在要因を回復できるか？
• RQ4 提案されたLEAPフレームワークは、従来のVAEベースの手法と比較して、因果構造を持つ潜在ダイナミクスの分離においてどの程度優れているか？
• RQ5 学習された潜在変数は、実世界のデータにおいて意味的で解釈可能な因果的要因（例：運動の回転）をどの程度正確に表現できるか？

主な発見

• LEAPは、人間の歩行運動に対応するピッチ、ヨー、ロールという3つの因果的関係を持つ潜在要因を成功裏に同定し、解釈可能性と遷移のなめらかさにおいてベースラインを上回った。
• CMU-Mocapデータセットでは、LEAPは滑らかなダイナミクスを示すわずか3つの意味のある潜在変数で十分だったのに対し、ベースラインは全8次元の潜在空間を必要としており、優れた分離性を示した。
• LEAPは潜在要因同士の相互関係（例：ピッチとロールが互いに因果的に影響し合うこと）を回復できたが、BetaVAE や SlowVAE などのベースラインは独立したダイナミクスしか学習できなかった。
• マススプリング系のシミュレーションでは、LEAPは5つの物体の水平方向および垂直方向の位置を正確に分離し、構造的ハミング距離（SHD）が0となった。これは、完全な因果スケルトン回復を意味する。
• 本手法は非定常性や非線形混合に対して頑健であり、非パラメトリックで時間的に変化する因果プロセスに対しても、信頼性の高い同定を達成した。
• 動画デモにより、LEAPの潜在変数の遷移が現実的で整合性のある運動シーケンスを生成するのに対し、ベースラインは不規則または不自然な遷移を生成することが確認された。