[論文レビュー] Disentangled State Space Representations

Đorđe Miladinović, Muhammad Waleed Gondal+3 more|arXiv (Cornell University)|Jun 7, 2019

Time Series Analysis and Forecasting被引用数 3

ひとこと要約

本稿では、順序データ内のドメイン不変動的要因とドメイン固有要因を明示的に分離する非パrametricな状態空間モデルである分離状態空間モデル（DSSM）を提案する。変分ベイジアンフィルタリングフレームワークを用いることで、DSSMは耐障害なクロスドメイン予測、分離表現学習、制御された系列生成を可能にし、未知の重力条件下でのODE系同定および動画予測において最先端の性能を示した。

ABSTRACT

Sequential data often originates from diverse domains across which statistical regularities and domain specifics exist. To specifically learn cross-domain sequence representations, we introduce disentangled state space models (DSSM) -- a class of SSM in which domain-invariant state dynamics is explicitly disentangled from domain-specific information governing that dynamics. We analyze how such separation can improve knowledge transfer to new domains, and enable robust prediction, sequence manipulation and domain characterization. We furthermore propose an unsupervised VAE-based training procedure to implement DSSM in form of Bayesian filters. In our experiments, we applied VAE-DSSM framework to achieve competitive performance in online ODE system identification and regression across experimental settings, and controlled generation and prediction of bouncing ball video sequences across varying gravitational influences.

研究の動機と目的

• 統計的規則性が異なる異種ドメイン間での系列動的要因の学習という課題に対処すること。
• 順序データにおけるドメイン不変動的要因とドメイン固有要因を分離する問題を形式化すること。
• 知識移譲と干渉を支援する、柔軟で教師なしの分離表現学習フレームワークを開発すること。
• 分離表現を用いて、未観測ドメインにおける系列の耐障害的予測と操作を可能にすること。

提案手法

• ドメイン不変動的要因とドメイン固有の影響を明示的に分離する非パrametric SSMのクラスとして、分離状態空間モデル（DSSM）を提案する。
• アンモトライズド推論を用いた変分ベイジアンフィルタリングフレームワークを設計し、DSSMを教師なしで学習可能とし、時間軸に沿った勾配伝搬を可能にする。
• ドメイン認識を事後分布 P(D|X<t) による推論で統合し、ドメイン固有の影響をモデル化する一方で、共有されたドメイン不変動的要因モデルを維持する。
• 再パラメータライゼーションテクニックを適用して、VAEベースのDSSMのエンドツーエンド学習を可能にし、効率的かつスケーラブルな推論を実現する。
• 3次元潜在空間を用いてドメイン埋め込みを可視化・評価し、動画系列における重力方向の分離性を検証する。
• 推論中に異なる系列間でドメイン埋め込み（例：重力）を交換することで、制御された生成と干渉を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分離状態空間モデルは、順序データにおける一般的なドメイン不変動的要因とドメイン固有要因を効果的に分離できるか？
• RQ2 分離性は、系列モデリングにおける未観測ドメインへの知識移譲と一般化をどの程度向上させるか？
• RQ3 教師なし条件下で、意味的でコンパクトかつトポロジカルに忠実なドメイン表現をDSSMがどの程度学習できるか？
• RQ4 DSSMは耐障害的な長時間予測および、例えば動画生成における動的要因の交換といった制御された系列操作を可能にするか？
• RQ5 VAEベースの学習手順は、ODE同定などの複雑な順序タスクにおける分離性と一般化をどの程度支援するか？

主な発見

• DSSMはオンラインODE系同定において最先端の性能を達成し、ODE形式を事前に知らない状態で、未観測のテスト系列から真のパラメータを正確に回復した。
• 動画予測タスクでは、K-VAEとドメインフリーのSSMベースラインを上回り、特にノイズが多い条件下でSSMアブレーションよりわずかに優れた性能を示した。
• モデルは、以前に観測されていなかった重力方向を有するテスト系列を3次元ドメイン空間に埋め込み、元の2次元重力空間のトポロジカル構造を保持した。
• 分離表現により効果的なドメイン交換が可能であった：1つの系列から得た重力埋め込みを別の系列に挿入することで、妥当で行動的に一貫した動画系列が得られた。
• 事前分布 p₀(D) と p₀(S₀) からの非制御的動画生成により、妥当で多様な系列が得られ、モデルの生成能力を示した。
• 分離された潜在空間により、ラベルなしの状態でも、異なる重力方向に対してコンパクトで明確に分離されたクラスタリングが可能となり、意味的な系列特徴付けが実現した。