[論文レビュー] Independent Innovation Analysis for Nonlinear Vector Autoregressive Process

Hiroshi Morioka, Hermanni Hälvä+1 more|arXiv (Cornell University)|Jun 19, 2020

Fault Detection and Control Systems参考文献 26被引用数 5

ひとこと要約

本稿では、非線形自己回帰（NVAR）過程における潜在的イノベーションを特定するための新しいフレームワークである独立イノベーション分析（IIA）を提案する。このフレームワークは、観測値とイノベーションの間の任意の非線形相互作用を許容するが、イノベーションの相互独立性と補助変数（例：時間）による調制を仮定することで、置換および成分別可逆非線形性の範囲で同定可能性を達成する。これは、非加法的イノベーションを持つ一般のNVARモデルに対して、初めての厳密な同定可能性結果を提供するものであり、自己教師あり学習と最尤推論に基づく3つの実用的な推定手法を提示する。

ABSTRACT

The nonlinear vector autoregressive (NVAR) model provides an appealing framework to analyze multivariate time series obtained from a nonlinear dynamical system. However, the innovation (or error), which plays a key role by driving the dynamics, is almost always assumed to be additive. Additivity greatly limits the generality of the model, hindering analysis of general NVAR processes which have nonlinear interactions between the innovations. Here, we propose a new general framework called independent innovation analysis (IIA), which estimates the innovations from completely general NVAR. We assume mutual independence of the innovations as well as their modulation by an auxiliary variable (which is often taken as the time index and simply interpreted as nonstationarity). We show that IIA guarantees the identifiability of the innovations with arbitrary nonlinearities, up to a permutation and component-wise invertible nonlinearities. We also propose three estimation frameworks depending on the type of the auxiliary variable. We thus provide the first rigorous identifiability result for general NVAR, as well as very general tools for learning such models.

研究の動機と目的

• 非加法的に分離できないイノベーションを有する一般の非線形自己回帰（NVAR）モデルにおける同定可能性の欠如に対処すること。
• 加法的または線形なイノベーション構造を仮定しない多変量時系列から潜在的イノベーションを推定するフレームワークを構築すること。
• 最小限の正則性仮定の下で、一般のNVAR過程におけるイノベーションの理論的同定可能性を確立すること。
• 現実の時系列データに適用可能な、訓練可能な実用的推定手法をIIAに提案すること。
• 独立的かつ非ガウス的イノベーション成分を回復することで、時系列ダイナミクスの解釈可能な分解を可能にすること。

提案手法

• 観測値が過去の観測値とイノベーションに非線形に依存する一般のNVAR(1)モデルを提案：$\mathbf{x}_t = \mathbf{f}(\mathbf{x}_{t-1}, \mathbf{s}_t)$、ここで$\mathbf{s}_t$は潜在的イノベーションである。
• イノベーションの相互独立性と補助変数（例：時間）による調制を仮定することで、非定常性を誘発し、同定可能性を実現する。
• 3つの推定フレームワークを導入：対照的学習と時間的整合性を用いた2つの自己教師あり手法、および隠れマルコフモデルを用いた最尤推定手法。
• デミックスングネットワークを用いてNVAR混合プロセスを逆転させ、独立性と非定常性の制約の下で$\mathbf{x}_t$と$\mathbf{x}_{t-1}$から$\mathbf{s}_t$を推定する。
• 成分別可逆非線形性と置換不変性を用いて、潜在変数モデルにおける根本的不定性を解消する。
• 対照的学習と時間的整合性を用いて、明示的なラベルなしに分離可能なイノベーション表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 イノベーションが状態から加法的に分離できない場合、一般の非線形自己回帰（NVAR）過程におけるイノベーションは同定可能か？
• RQ2 任意の非線形性を有する一般のNVARモデルにおいて、イノベーションの同定可能性を保証するのに十分な仮定は何か？
• RQ3 混合関数が未知で非線形な状況下で、データ駆動型フレームワークが多変量時系列からイノベーションをどのように推定できるか？
• RQ4 自己教師あり学習技術は、ラベルなしのNVARプロセスにおいて独立イノベーションを効果的に推定するために有効か？
• RQ5 補助変数（例：時間）は、非線形力学系におけるイノベーションの同定可能性をどのように実現するか？

主な発見

• IIAは、相互独立性と補助変数による調制を仮定することで、置換および成分別可逆非線形性の範囲で一般のNVARモデルにおけるイノベーションの同定可能性を達成する。
• 提案されたIIAフレームワークは、非加法的イノベーションを有する一般の非線形自己回帰過程に対して、初めての厳密な同定可能性結果を提供する。
• 対照的学習（IIA-TCL）と時間的整合性（IIA-TC）に基づく自己教師あり推定手法は、合成データおよび実際の神経データにおいて優れた性能を示し、AD-NVAR や VAE などのベースラインを上回る。
• 神経データにおいて、IIA-TCLは1名の被験者を除いた交差検証で刺激復元の分類精度が92.5％を達成し、NICA や AD-NVAR(3) のベースラインを顕著に上回った。
• イノベーション成分の可視化により、入力固有のパターンが明確に現れ、IIAが動的駆動要因の意味的で解釈可能な表現を学習していることが確認された。
• 隠れマルコフモデルに基づく最尤推定手法（IIA-HMM）は、低サンプル数の状況でも高いロバストネスを示し、フレームワークの理論的基盤を裏付けた。