[論文レビュー] Learning Networks of Stochastic Differential Equations

José Bento, Morteza Ibrahimi+1 more|arXiv (Cornell University)|Nov 1, 2010

Gene Regulatory Network Analysis参考文献 10被引用数 43

ひとこと要約

本稿では、連続時間の軌道から線形確率微分方程式（SDE）のネットワーク構造を学ぶために、$ι_1$-正則化最小二乗法を提案する。サンプリング周波数が十分に高い限り、サンプリングレートに依存しない一様な性能保証を支持回復に対して確立し、高次元でスパースなシステムにおけるネットワーク推定の明確な時間計算量を示している。

ABSTRACT

We consider linear models for stochastic dynamics. To any such model can be associated a network (namely a directed graph) describing which degrees of freedom interact under the dynamics. We tackle the problem of learning such a network from observation of the system trajectory over a time interval $T$. We analyze the $\ell_1$-regularized least squares algorithm and, in the setting in which the underlying network is sparse, we prove performance guarantees that are \emph{uniform in the sampling rate} as long as this is sufficiently high. This result substantiates the notion of a well defined `time complexity' for the network inference problem.

研究の動機と目的

• 単一の連続時間軌道から線形確率微分方程式（SDE）の相互作用ネットワーク（スパース構造）を学ぶという課題に取り組む。
• SDEに従う高次元でスパースなシステムにおける構造学習のための計算効率の良い手法を開発する。
• サンプリング周波数に一様な理論的性能保証を、十分に高密度なサンプリングが保証される限り、ネットワーク回復に確立する。
• 連続時間データにおけるサンプリング周波数と情報量の間の矛盾を解消し、高周波数でのサンプリングが学習性能を低下させないことを示す。

提案手法

• 本手法は、観測された軌道 $\{x(t)\}_{t \in [0,T]}$ から、係数行列 $A^0$ の各行を独立に推定するため、$ι_1$-正則化最小二乗法を用いる。
• 損失関数は $\mathcal{L}(A_r; \{x(t)\}) = \frac{1}{2T}\int_0^T (A_r^*x(t))^2 dt - \frac{1}{T}\int_0^T (A_r^*x(t)) dx_r(t)$ で定義され、これは連続時間最小二乗法に対応する。
• 正則化項 $\lambda \|A_r\|_1$ はスパース性を促進し、真のネットワーク構造のサポート回復を可能にする。
• 推定誤差を制限するために、損失関数の勾配 $\widehat{G}$ とヘッセ行列 $\widehat{Q}$ の濃度不等式に依存する。
• 離散時間近似がサンプリングレートを高めるにつれて真の連続時間統計にほとんど確実に収束することを示すために、カップリングの議論を用いる。
• 最大固有値の境界とノイズ過程のサブガウス的挙動を用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングが高密度であっても、単一の連続時間軌道から線形SDEのネットワーク構造を信頼性高く回復できるか？
• RQ2 ネットワーク推定の性能はサンプリング周波数に依存するのか、それとも十分に高いサンプリング周波数において一様に保たれるのか？
• RQ3 $ι_1$-正則化最小二乗法は、スパースな相互作用構造を持つ高次元SDEにおいて一貫したサポート回復を達成できるか？
• RQ4 サンプリング周波数に依存しない、連続時間確率的システムにおけるネットワーク推定の明確な時間計算量が存在するか？

主な発見

• サンプリング間隔 $\eta$ が十分に小さい限り、すべてのサンプリング周波数において一様なサポート回復性能を達成する。$\eta \to 0$ であっても性能が劣化しない保証がある。
• 正しいサポート回復の確率は $1 - \delta$ で下から抑えられ、$\delta$ はサンプル数 $n = T/\eta$ に対して指数的に減少する。$\lambda$ と $\eta$ に適切な条件が満たされれば成立する。
• 理論的境界により、推定誤差 $|\!|\!|\widehat{Q}_{JS} - Q^{0}_{JS}|\!|\!|_{\infty}$ が $\epsilon$ で制御され、$\sigma_{\max}(I + \eta A^0) < 1$ の条件下で、$e^{-c n \epsilon^2}$ のように減少することが示された。$c > 0$ は定数である。
• 条件 $\lambda \leq A_{\min} C_{\min} / (8k)$ を満たすとき、推定されたサポートは真のサポートと高確率で一致する。$k$ はスパースレベルである。
• 離散時間統計 $\widehat{G}^n, \widehat{Q}^n$ は $n \to \infty$ のとき、連続時間の対応物 $\widehat{G}, \widehat{Q}$ にほとんど確実に収束する。これにより、離散時間の結果を連続時間へ拡張できる。
• 本稿では、連続時間の勾配およびヘッセ行列推定器が濃度不等式を満たし、推定誤差を一様に制御できることを確立した。これにより、頑健な構造学習が可能となる。