[論文レビュー] On the Sample Complexity of Graphical Model Selection for Non-Stationary Processes

Nguyen Tran, Oleksii Abramenko+1 more|arXiv (Cornell University)|Jan 17, 2017

Control Systems and Identification参考文献 51被引用数 3

ひとこと要約

本稿は、非定常時系列データからの正確なグラフィカルモデル選択（GMS）に必要な理論的サンプル複雑度を確立する。ここで、サンプルは相関がないが、ブロックごとに異なる共分散行列を有する。ネイバー回帰に基づく手法を分析することで、サンプルサイズに必要な十分条件を導出し、プロセスの各成分間の最小平均接続強度に強く依存するものであり、従来のi.i.d.および定常設定を一般化する。

ABSTRACT

We characterize the sample size required for accurate graphical model selection from non-stationary samples. The observed data is modeled as a vector-valued zero-mean Gaussian random process whose samples are uncorrelated but have different covariance matrices. This model contains as special cases the standard setting of i.i.d. samples as well as the case of samples forming a stationary or underspread (non-stationary) processes. More generally, our model applies to any process model for which an efficient decorrelation can be obtained. By analyzing a particular model selection method, we derive a sufficient condition on the required sample size for accurate graphical model selection based on non-stationary data.

研究の動機と目的

• データが非定常的ではあるがブロック単位でi.i.d.である場合に、信頼性のあるグラフィカルモデル選択のための最小サンプルサイズを特定すること。
• 従来、i.i.d.または定常プロセスに限定されていたサンプル複雑度理論を、時間的に変化する共分散構造を有する非定常プロセスへと拡張すること。
• 非定常サンプリング下でのネイバー回帰に基づくGMS手法を分析し、計算効率ではなく、根本的なサンプルサイズの限界に焦点を当てる。
• 必要なサンプルサイズが、成分間の最小平均接続強度の逆数に比例して増加することを示し、明確な理論的境界を提供すること。

提案手法

• 非定常データを、ブロック間で無相関で、各ブロックが異なる共分散行列を有する、ゼロ平均のベクトル値ガウス過程としてモデル化する。
• 時間系列データをi.i.d.サンプルのブロックに変換するため、デコリレーション変換（例：フーリエ変換）を適用し、i.i.d. GMS理論の適用を可能にする。
• 各ノードと他のすべてのノード間の条件付き依存関係を全ノードを条件として完全にテストする、計算的に非現実的なネイバー回帰手法を用いる。
• ブロックごとの線形回帰における残差平方和に基づく検定統計量を定義し、条件付き独立性を推定し、グラフ構造を同定する。
• 実際のスコアと補助スコアを比較することで、ネイバーのサイズを推定するスコアベースの選択基準を採用する。補助スコアは合成的なi.i.d.信号を用い、誤検出を制御する。
• 実際のトゥルクの歩行者数データを用いて手法を検証し、DFT変換されたデータとブロック単位の解析を用いて、条件付き独立グラフ（CIG）を推定する。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位で共分散が変化する非定常時系列データから、グラフィカルモデル構造を信頼性高く回復するための最小サンプル数は何か？
• RQ2 非定常時系列データにおける最小平均接続強度に応じて、必要なサンプルサイズはどのように変化するか？
• RQ3 既存のi.i.d. GMSのサンプル複雑度結果は、効率的なデコリレーション変換が可能な非定常プロセスへと拡張可能か？
• RQ4 非定常設定下でのネイバー回帰に基づくGMSの性能は、ブロック構造および信号対雑音比にどのように依存するか？
• RQ5 モデルの誤指定または弱い依存関係は、サンプル複雑度要件にどのような影響を及けるか？

主な発見

• 正確なグラフィカルモデル選択に必要なサンプルサイズは、グラフィカルモデル内の成分間の最小平均接続強度の二乗に反比例して増加する。
• 最小平均接続強度が十分に大きい場合には、i.i.i.d.設定と同等またはそれ以上の性能で、正確なGMSが可能となる。
• 導出された理論的サンプル複雑度境界はタイトであり、計算的に非現実的なネイバー回帰手法によって達成可能であり、根本的な限界を示している。
• 本手法は、定常的、周期定常的、または局所定常的プロセスなど、効率的なデコリレーション変換が可能な非定常プロセスへと一般化可能である。
• 実データ（トゥルクの歩行者数）を用いた実証的検証により、推定された条件付き独立グラフが、元の都市の道路網構造とよく一致していることが示された。
• スコアベースのネイバー選択基準は、合成ノイズベースラインを用いることで、真の依存関係を効果的に同定するとともに、誤検出を制御している。