[論文レビュー] Learning Gaussian Graphical Models by symmetric parallel regression technique

Daniela De Canditiis, Armando Guardasole|arXiv (Cornell University)|Feb 8, 2019

Metabolomics and Mass Spectrometry Studies参考文献 2被引用数 3

ひとこと要約

本稿では、高次元設定におけるスパースなガウス graphical モデル (GGM) の学習のため、条件付き独立構造を推定するためにグループ化lasso正則化回帰を活用する対称的並列回帰 (SPR) 技術を提案する。SPRは、グラフィカルラッソや標準的並列回帰と比較して、エッジ回復性能が競争力を持ち、特に高次元的状況 (n << p) において計算時間を顕著に短縮する。

ABSTRACT

In this contribution we deal with the problem of learning an undirected graph which encodes the conditional dependence relationship between variables of a complex system, given a set of observations of this system. This is a very central problem of modern data analysis and it comes out every time we want to investigate a deeper relationship between random variables, which is different from the classical dependence usually measured by the covariance. In particular, in this contribution we deal with the case of Gaussian Graphical Models (GGMs) for which the system of variables has a multivariate gaussian distribution. We study all the existing techniques for such a problem and propose a smart implementation of the symmetric parallel regression technique which turns out to be very competitive for learning sparse GGMs under high dimensional data regime.

研究の動機と目的

• 標本共分散行列が特異となる高次元多変量ガウス分布データにおける条件付き独立構造の学習の課題に対処すること。
• 高次元的状況 (n ≪ p) において、グラフィカルラッソや標準的並列回帰といった従来手法の限界を克服すること。
• ガウス graphical モデルにおけるスパースな精度行列 Θ = Σ⁻¹ を推定する計算的に効率的で正確なアルゴリズムの開発。
• 対称的並列回帰が、既存手法と比較して顕著に短い実行時間で競争力あるエッジ回復性能を達成できることを示すこと。

提案手法

• GGMの学習問題を、逆共分散行列（精度行列）のサポート推定という形で定式化し、条件付き独立関係を用いる。
• 各変数に対して残りの変数を予測子として用い、p個の別々のグループ化lasso正則化回帰問題を解くことで、対称的並列回帰 (SPR) を実装する。
• 推定された精度行列の対称性を保つために、各回帰ステップからの回帰係数を平均化することで、真の精度行列構造と整合性を確保する。
• 理論的に最適とされる固定正則化パラメータ λ = log(p)/n を使用する。
• 推定された条件付き依存構造におけるスパarsityを促進するためにグループ化lassoペナルティを適用し、有意な場合にのみエッジ選択を促進する。
• 最終的な精度行列を、すべてのp回の回帰からの係数行列の平均として推定することで、対称性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対称的並列回帰は、高次元的GGMにおけるエッジ回復精度に関して、グラフィカルラッソや標準的並列回帰と比較してどのように異なるか？
• RQ2 対称的並列回帰は、高次元的状況 (n ≪ p) において、顕著に低い計算コストで競争力ある性能を達成できるか？
• RQ3 さまざまなグラフトポロジー（例：鎖状、グリッド状、星型）において、SPRの性能は異なるデータ状態に対してどれほど頑健か？
• RQ4 SPRにおける対称的平均化ステップは、非対称回帰手法と比較して、推定の安定性と正確性をどのように向上させるか？
• RQ5 λ = log(p)/n を使用することで、高次元的スパースGGM学習におけるSPRの性能にどのような影響を与えるか？

主な発見

• SPRは、グラフィカルラッソや標準的並列回帰と比較して、エッジ回復精度が競争力を持ち、テストされたすべてのグラフタイプで最高性能を示す手法と同等の精度値を達成する。
• SPRは、反復的最適化手順に起因して計算が重いとされるグラフィカルラッソと比較して、顕著に高速な実行時間を持つ。
• n ≈ p のやや深刻でない状況と、n ≪ p の深刻な高次元的状況の両方において、SPRは鎖状、グリッド状、星型のさまざまなグラフ構造で安定した性能を維持し、頑健性を示す。
• SPRにおける対称的平均化ステップは、推定の一貫性を向上させ、非対称代替手法と比較して精度行列推定の安定性を高める。
• p = 32、n = 32およびn = 16のテスト状況において、SPRは標準的並列回帰よりも計算効率に優れながら、同等の精度を維持する。
• SPRの実装は計算的に効率的でスケーラブルであり、高次元的かつスパースなGGM学習タスクにおいて、グラフィカルラッソの実用的代替手段として有効である。