[論文レビュー] Learning Local Dependence In Ordered Data

Guo Yu, Jacob Bien|arXiv (Cornell University)|Apr 25, 2016

Statistical Methods and Inference参考文献 36被引用数 16

ひとこと要約

本稿では、共分散行列の逆コレスキー因子を階層的グループラッソ罰則を用いて推定することにより、順序付きデータにおける局所的依存関係を学習する凸的で罰則付き尤度法を提案する。この手法により、変数ごとの近傍サイズを柔軟に推定でき、符号付きサポート回復および推定の一致性に関する強い理論的保証を持つスパースで対称的かつ正定値の精度行列推定量が得られる。

ABSTRACT

In many applications, data come with a natural ordering. This ordering can often induce local dependence among nearby variables. However, in complex data, the width of this dependence may vary, making simple assumptions such as a constant neighborhood size unrealistic. We propose a framework for learning this local dependence based on estimating the inverse of the Cholesky factor of the covariance matrix. Penalized maximum likelihood estimation of this matrix yields a simple regression interpretation for local dependence in which variables are predicted by their neighbors. Our proposed method involves solving a convex, penalized Gaussian likelihood problem with a hierarchical group lasso penalty. The problem decomposes into independent subproblems which can be solved efficiently in parallel using first-order methods. Our method yields a sparse, symmetric, positive definite estimator of the precision matrix, encoding a Gaussian graphical model. We derive theoretical results not found in existing methods attaining this structure. In particular, our conditions for signed support recovery and estimation consistency rates in multiple norms are as mild as those in a regression problem. Empirical results show our method performing favorably compared to existing methods. We apply our method to genomic data to flexibly model linkage disequilibrium. Our method is also applied to improve the performance of discriminant analysis in sound recording classification.

研究の動機と目的

• 時系列やゲノム配列などの高次元的順序付きデータにおいて、依存関係が局所的であるが、変数ごとに近傍サイズが異なるという課題に対処すること。
• 固定またはグローバルな依存幅を仮定するのではなく、変数ごとの近傍サイズを柔軟に推定する手法を開発すること。
• 得られる精度行列推定量がスパースで、対称的かつ正定値であることを保証し、ガウスグラフィカルモデルの構造を維持すること。
• 標準回帰問題と同等のきわめて弱い条件下でも、特に符号付きサポート回復および推定の一貫性といった理論的保証を導出すること。
• 1次順序法を用いて並列で解ける独立な部分問題に分解することで、効率的な計算を可能とすること。

提案手法

• 本手法は、共分散行列の逆コレスキー因子を推定する。これは、各変数が順序上の近隣変数によって予測されるという回帰的解釈を可能にする。
• 局所的依存構造を強制し、各変数が自身の直近の先行変数にのみ依存することを保証するために、コレスキー因子に階層的グループラッソ罰則を適用する。
• 最適化問題は凸的であり、各変数ごとに独立した部分問題に分解可能であり、1次順序法を用いて並列で効率的に解ける。
• 得られる推定量は、対称的かつ正定値であることが保証され、ガウスグラフィカルモデルにおける有効な精度行列を保証する。
• コレスキー分解を活用することで、コレスキー因子内のゼロ要素が条件付き独立性を自然に表現し、スパース構造が局所的依存を反映する。
• 理論的分析により、複数のノルムにおける符号付きサポート回復および推定の一貫性の条件が確立され、標準回帰設定と同等の収束速度が得られる。

実験結果

リサーチクエスチョン

• RQ1 固定された近傍サイズを仮定せずに、順序付きデータにおける変数ごとの局所的依存構造を学習するための凸最適化フレームワークを構築できるか？
• RQ2 順序付き変数の文脈において、精度行列のスパース性を保ちながら、対称性および正定値性を維持する方法は何か？
• RQ3 最小限の仮定のもとで、このような手法に対して符号付きサポート回復や推定の一貫性といった理論的保証を確立できるか？
• RQ4 実世界のデータにおいて、既存の手法と比較して、精度および計算効率の点で本手法の性能はどの程度か？
• RQ5 本手法は、遺伝子間連鎖不平衡のような複雑な依存構造を効果的にモデル化でき、音声分類における判別分析の性能向上に寄与できるか？

主な発見

• 本手法は、標準回帰問題と同等のきわめて弱い条件下でも、複数のノルムにおいて符号付きサポート回復および推定の一貫性を達成し、理論的堅牢性が強く示された。
• 本手法は、スパースで、対称的かつ正定値な精度行列推定量を生成し、有効なガウスグラフィカルモデルおよびその後続の推論に不可欠である。
• 実験的結果により、シミュレートデータおよび実データの両方で、既存手法と比較して優れた性能を示し、柔軟な局所的依存パターンの捉え込みに優れた効果を示した。
• 本手法はゲノムデータに応用され、連鎖不平衡をモデル化するのに成功し、生物学的に意味のある依存構造を捉える能力を示した。
• 音声記録分類の文脈では、局所的時間的依存性をよりよくモデル化することで、判別分析の性能が向上した。
• 最適化問題は独立した部分問題に分解可能であり、並列計算が効率的に行えるため、高次元設定へのスケーラビリティが確保された。