[論文レビュー] Learning the Dependence Graph of Time Series with Latent Factors

Ali Jalali, Sujay Sanghavi|arXiv (Cornell University)|Jun 9, 2011

Complex Systems and Time Series Analysis参考文献 47被引用数 32

ひとこと要約

本稿では、潜在変数が存在する場合でも、観測された時系列変数間の依存構造を学習するための凸最適化手法を提案する。潜在要因の低ランク構造と観測依存性のスパarsityを活用することで、高次元スケーリング下でも真の依存グラフを高確率で回復でき、潜在変数の数が観測変数の数より小さい場合の構造回復に対して理論的保証を確立する。

ABSTRACT

This paper considers the problem of learning, from samples, the dependency structure of a system of linear stochastic differential equations, when some of the variables are latent. In particular, we observe the time evolution of some variables, and never observe other variables; from this, we would like to find the dependency structure between the observed variables - separating out the spurious interactions caused by the (marginalizing out of the) latent variables' time series. We develop a new method, based on convex optimization, to do so in the case when the number of latent variables is smaller than the number of observed ones. For the case when the dependency structure between the observed variables is sparse, we theoretically establish a high-dimensional scaling result for structure recovery. We verify our theoretical result with both synthetic and real data (from the stock market).

研究の動機と目的

• 一部の変数が潜在的で観測不能な場合の時系列における依存構造の学習という課題に対処すること。
• 潜在時系列を周辺化することで生じる誤った相互作用を分離すること。
• 潜在交絡要因が存在する状況でも、真の観測変数間の依存グラフを回復できる凸最適化に基づく手法を開発すること。
• 潜在変数の数が観測変数の数より小さい高次元設定下での構造回復に対する理論的保証を確立すること。
• 合成データおよび実際の株式市場データを用いた実験を通じて、本手法の構造学習におけるロバストネスと精度を検証すること。

提案手法

• 本手法は、潜在変数と観測変数を含む線形確率的微分方程式としてシステムをモデル化し、潜在要因が共分散構造に低ランク成分をもたらすと仮定する。
• 構造学習問題を、スパース成分（真の依存性）と低ランク成分（潜在的影響）に分解するスパース＋低ランク行列分解として定式化する。
• 核ノルムとl1ノルムの正則化を施した最小二乗問題を解くことで、凸最適化プログラムを用いてスパース成分を推定する。
• 時系列サンプルが従属している事実を活用し、従属観測に特化した濃縮不等式を用いて推定誤差を制限する。
• 共分散行列における推定誤差の無限大ノルムを制御することで一貫性を保証し、これが正しい構造回復に直結する。
• 理論的分析では安定性条件とスペクトルバウンドを用いて、推定された依存グラフにおける高確率誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数が存在し観測不能な状況下でも、観測時系列変数間の真の依存構造を正確に回復できるか？
• RQ2 潜在要因の存在が観測共分散構造をどのように歪め、標準的手法で誤った依存性を生じさせるか？
• RQ3 潜在要因が存在する状況下で、一貫した構造回復を達成するための最小のサンプルサイズとサンプリング周波数は何か？
• RQ4 どのような条件下で、凸最適化アプローチがスパース依存構造と低ランク潜在成分を効果的に分離できるか？
• RQ5 潜在変数の数が観測変数の数より小さい高次元設定下で、本手法はどのようにスケーリングするか？

主な発見

• 潜在変数の数が観測変数の数より小さい場合、本手法は観測変数間の真の依存グラフを高確率で回復する。
• 理論的分析により、高次元スケーリング結果が得られた：サンプル複雑性が $ n\eta \geq \frac{3 \times 10^6 (\mathcal{D}_{\max} + 2\mathcal{C}_{\min})}{D^2 (\mathcal{D}_{\max} + \mathcal{C}_{\min})} \log\left(\frac{4((s+2r)p + r^2)}{\delta}\right) $ を満たす場合、一貫した構造回復が可能である。
• 共分散行列における推定誤差は無限大ノルムでバウンドされ、スパース構造が信頼性高く回復可能であることが保証される。
• 標準的な最尤推定器とは異なり、潜在交絡要因を考慮せず、密な誤った依存性を生成するため、本手法はその性能を上回る。
• 合成データに対する数値実験により、理論的誤差バウンドが確認され、さまざまな潜在的影響レベル下でも正確な構造回復が実現していることが示された。
• 実株式市場データを用いた実証的検証では、本手法が意味のある依存構造を的確に同定し、観測不能な市場要因によって誘発される誤った相関を効果的にフィルタリングしていることが示された。