[論文レビュー] Robust Graphical Modeling with Classical and Alternative T-Distributions

Michael Finegold, Mathias Drton|arXiv (Cornell University)|Sep 19, 2010

Statistical Methods and Inference参考文献 14被引用数 8

ひとこと要約

本稿では、特に遺伝子発現研究において、重い尾を持つか、外れ値を含む高次元データにおける推論を改善するために、ガウス分布の代わりに多変量スルム分布を用いた頑健なグラフィカルモデリングを提案する。罰則付き最尤推定とEMアルゴリズム（変分近似とMCMC-EMを含む）を組み合わせることで、重い尾または外れ値に強いデータにおいても、計算が効率的かつ信頼性が高いグラフ推定が可能になる。

ABSTRACT

Graphical Gaussian models have proven to be useful tools for exploring network structures based on multivariate data. Applications to studies of gene expression have generated substantial interest in these models, and resulting recent progress includes the development of fitting methodology involving penalization of the likelihood function. In this paper we advocate the use of multivariate $t$-distributions for more robust inference of graphs. In particular, we demonstrate that penalized likelihood inference combined with an application of the EM algorithm provides a computationally efficient approach to model selection in the $t$-distribution case. We consider two versions of multivariate $t$-distributions, one of which requires the use of approximation techniques. For this distribution, we describe a Markov chain Monte Carlo EM algorithm based on a Gibbs sampler as well as a simple variational approximation that makes the resulting method feasible in large problems.

研究の動機と目的

• 重い尾または外れ値を含む多変量データを扱う際のガウスグラフィカルモデルの限界を解消すること、特に遺伝子発現研究において。
• 多変量t分布に基づく、計算が効率的なグラフ選択手法の開発。t分布はガウスモデルよりも頑健である。
• EMアルゴリズムを適応させることで、罰則付き最尤推定をt分布に拡張し、パラメータ推定とモデル選択を可能にする。
• 変分近似とMCMC-EM技術を用いて、大規模問題に対するスケーラブルな解決策を提供する。
• 計算の複雑さのため近似手法を要する2種類の多変量t分布を比較する。

提案手法

• スパースな精度行列を推定するために、多変量t分布への罰則付き最尤推定を適用し、グラフ選択を実行する。
• t分布における潜在変数を扱うためにEMアルゴリズムを用い、場所、散らばり、自由度の反復推定を可能にする。
• より複雑なt分布バージョンの場合は、Gibbsサンプリングに基づくMCMC-EMアルゴリズムを用い、Eステップの近似を実施する。
• 計算コストを低減し、大規模問題における推論を可能にするために、EMアルゴリズムに対する変分近似を導入する。
• 罰則付き最尤フレームワークとEMアルゴリズムを組み合わせ、t分布仮定下での精度行列推定を実現する。
• EMアルゴリズムのEステップを活用し、t分布のスケール混合表現を表す潜在変数を考慮する。

実験結果

リサーチクエスチョン

• RQ1 外れ値や重い尾を持つデータにおいて、t分布を用いたグラフィカルモデリングはガウスモデルに比べて頑健性を向上させることができるか？
• RQ2 罰則付き最尤推定を多変量t分布に適応させることで、効果的なグラフ選択が可能になるか？
• RQ3 より複雑なt分布バージョンにおいて、近似を要する計算戦略は、効率的なモデルフィッティングを可能にするか？
• RQ4 EMアルゴリズムおよびその変種（MCMC-EMと変分近似）は、t分布に基づくグラフィカルモデルにおいて、性能とスケーラビリティの観点でどのように比較されるか？
• RQ5 異なるt分布の定式化を用いることで、モデルの正確性と計算の可能性にどのような影響が生じるか？

主な発見

• 罰則付き最尤推定とEMアルゴリズムの組み合わせにより、多変量t分布下でも効率的かつ頑健なグラフ推定が可能になる。
• 変分近似は大規模問題における計算が可能な解決策を提供し、MCMC-EMに比べて実行時間を顕著に短縮する。
• Gibbsサンプリングに基づくMCMC-EMアルゴリズムは、解析的解が不可能なより複雑なt分布の定式化において、信頼性の高い代替手段を提供する。
• t分布を用いた頑健な推論により、重い尾または汚染されたデータが存在する状況でも、ガウスモデルに比べてより正確なネットワーク構造が得られる。
• 本手法は高次元データを効果的に処理でき、外れ値への感受性が低く、安定性が向上する。
• 提案されたフレームワークは罰則付き最尤推定を活用し、非ガウス仮定下でもスパースな精度行列推定が可能になる。