[論文レビュー] Nonparametric Compressive Graphical Model Selection for Vector-Valued Stationary Random Processes: A Multitask Learning Approach

Alexander Jung|arXiv (Cornell University)|Apr 4, 2014

Control Systems and Identification参考文献 36被引用数 3

ひとこと要約

本稿では、ARのようなパラメトリックモデルを仮定せずに、高次元の定常ガウス過程の条件付き独立グラフ（CIG）を非パラメトリックかつ圧縮的手法で学習する手法を提案する。周波数領域における滑らかさを活用し、高い確率で漸近的整合性を保証するが、モデル不一致の下でも既存手法を上回る性能を示す。

ABSTRACT

We propose a method for inferring the conditional independence graph (CIG) of a high-dimensional Gaussian time series (discrete time process) from a finite-length observation. By contrast to existing approaches, we do not rely on a parametric process model (such as, e.g., an autoregressive model) for the observed random process. Instead, we only require certain smoothness properties (in the Fourier domain) of the process only. The proposed inference scheme is compressive in that it works even for sample sizes much smaller than the number of scalar process components. A theoretical performance analysis provides conditions which guarantee that the probability of the proposed inference method to deliver a wrong the CIG is below a prescribed value. This analysis reveals conditions for the new method to be consistent asymptotically. Some numerical experiments validate our theoretical performance analysis and demonstrate superior performance of our scheme compared to existing approaches in case of model mismatch.

研究の動機と目的

• 短い観測から、パラメトリックモデルを仮定せずに高次元ガウス時系列の条件付き独立グラフ（CIG）を推定すること。
• 標本サイズがプロセスの成分数に比べてはるかに小さい状況でも機能する圧縮推論スキームを開発すること。
• 誤ったCIG回復確率が所定のしきい値未満であることを保証する理論的条件を確立すること。
• 基礎プロセスに最小限の仮定を置いた状況でも、推論手法の漸近的整合性を達成すること。
• モデル不一致の状況下で、既存手法に比べて性能優位性を実証すること。

提案手法

• 手法は周波数領域で動作し、自己回帰モデルのようなパラメトリック仮定を避けるために、スペクトル密度行列の滑らかさ特性を活用する。
• CIG学習問題をマルチタスク学習の枠組みとして定式化し、周波数成分間で同時に推定を実行する。
• 推論スキームは圧縮的であり、精度行列における低ランクおよびスparser構造に依存して、限られたサンプルからの回復を可能にする。
• 滑らかさ制約の下で、集中不等式を用いてCIG回復における誤差確率の上限を理論的に評価する。
• 周波数領域におけるプロセスの滑らかさを尊重する非パラメトリックなスペクトル密度行列推定器を用いる。
• 最終的なCIGは、理論的誤差境界に基づいたチューニングを施した推定精度行列のしきい値処理により回復する。

実験結果

リサーチクエスチョン

• RQ1 ARのようなパラメトリックモデルを仮定せずに、非パラメトリック手法が高次元定常ガウス過程の条件付き独立グラフを推定可能か？
• RQ2 提案された圧縮推論手法が、CIG回復においてどのような条件下で漸近的整合性を達成するか？
• RQ3 真のプロセスモデルが誤って指定された場合の有限サンプル領域において、本手法はパラメトリック代替手法に比べてどの程度の性能を示すか？
• RQ4 周波数領域における滑らかさ仮定の下で、CIG推定における誤差確率にどのような理論的保証を提供できるか？
• RQ5 周波数成分間でマルチタスク学習の原則を効果的に圧縮センシングと組み合わせることで、高次元時系列におけるCIG推定の精度を向上できるか？

主な発見

• 提案手法は、周波数領域におけるスペクトル密度行列のやや弱い滑らかさ仮定のもとで、CIG回復において漸近的整合性を達成する。
• 理論的分析により、誤ったCIG回復確率がユーザーが指定したしきい値未満である条件を明示的に特定できる。
• 数値実験により、真のプロセスモデルが誤って指定された場合でも、パラメトリック手法に比べて優れた性能を示す。
• サンプル数がプロセス成分の次元に比べてはるかに小さい場合でも、本手法は有効であることが確認され、圧縮性が裏付けられる。
• 周波数成分間でのマルチタスク学習の活用により、高次元設定下での推定精度と頑健性が向上する。
• 真のパラメトリックモデル（例：AR次数）の知識が不要であるため、モデルベースの代替手法に比べて実用的・頑健性に優れる。