[論文レビュー] Targeted Fused Ridge Estimation of Inverse Covariance Matrices from Multiple High-Dimensional Data Classes

Anders Ellern Bilgrau, Carel F.W. Peeters+3 more|arXiv (Cornell University)|Sep 26, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用数 14

ひとこと要約

本稿では、異なるデータクラスを有する高次元設定下で複数の逆共分散行列を共同して推定するための標的的融合リッジ推定量を提案する。$μat$-正則化付き最尤推定とクラス固有の標的行列、および融合正則化を組み合わせることで、クラス間で強みを共有しつつ特定の要素に差を許容する構造的推定を可能にし、グラフィカルモデリング応用における安定性と解釈可能性を向上させる。

ABSTRACT

We consider the problem of jointly estimating multiple inverse covariance matrices from high-dimensional data consisting of distinct classes. An $\ell_2$-penalized maximum likelihood approach is employed. The suggested approach is flexible and generic, incorporating several other $\ell_2$-penalized estimators as special cases. In addition, the approach allows specification of target matrices through which prior knowledge may be incorporated and which can stabilize the estimation procedure in high-dimensional settings. The result is a targeted fused ridge estimator that is of use when the precision matrices of the constituent classes are believed to chiefly share the same structure while potentially differing in a number of locations of interest. It has many applications in (multi)factorial study designs. We focus on the graphical interpretation of precision matrices with the proposed estimator then serving as a basis for integrative or meta-analytic Gaussian graphical modeling. Situations are considered in which the classes are defined by data sets and subtypes of diseases. The performance of the proposed estimator in the graphical modeling setting is assessed through extensive simulation experiments. Its practical usability is illustrated by the differential network modeling of 12 large-scale gene expression data sets of diffuse large B-cell lymphoma subtypes. The estimator and its related procedures are incorporated into the R-package rags2ridges.

研究の動機と目的

• 異なる高次元データクラス間で $p > n$ の状況下で複数の精度行列を推定する課題に対処すること。
• ユーザー指定の標的行列を用いて事前知識を組み込むことで、高次元設定下での推定を安定化すること。
• 共有構造を許容しつつ、特定の要素におけるクラス固有の差を同定可能なようにすることで、差分ネットワークモデリングを可能にすること。
• 既存の $μat$-正則化推定量を一般化し、構造的メタアナリシスを支援する汎用的フレームワークを構築すること。
• 理論的保証とアルゴリズム設計により推定値の正定値性を保証する計算可能解を提供すること。

提案手法

• $G$ 個のクラスのための複数の精度行列 ${\bm{\Omega}}_g$ を推定するために $μat$-正則化付き最尤推定法を採用する。
• ペナルティ行列 $\bm{\Lambda}$ を用いて融合リッジペナルティを導入し、異なるクラスの精度行列間の類似性を促進する。
• 事前知識を反映するためのクラス固有の標的行列 $\bm{T}_g$ を組み込むことで、推定の安定性を向上させる。
• 最適化問題のゼロ勾配条件を導出し、推定のための固定点反復アルゴリズム（アルゴリズム1）を導出する。
• 理論的保証とアルゴリズム設計により、推定された精度行列の正定値性を保証する。
• リッジ、融合ラッソ、非融合推定量を特別な場合として含む一般化された融合リッジフレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 異なる高次元データクラス間で $p > n$ の状況下で、複数の逆共分散行列をどのように共同推定できるか。
• RQ2 精度行列の構造に関する事前知識を推定プロセスに形式的に組み込む方法は何か。
• RQ3 複数のデータクラスに跨る精度行列において、共有構造とクラス固有構造を同時に推定する方法は何か。
• RQ4 融合リッジペナルティのパラメータを変化させた場合、精度行列の推定およびその差にどのような影響が生じるか。
• RQ5 提案手法の標的的融合リッジ推定量は、既存手法と比較して高次元設定下での推定精度と安定性においてどのように優れているか。

主な発見

• 標的的融合リッジ推定量は、$p > n$ の場合でも弱い正則性条件のもとで推定された精度行列の正定値性を保証する。
• ペナルティパラメータ $\lambda_{gg} \to \infty$ に近づくと、推定値 $\hat{\bm{\Omega}}_g$ は標的行列 $\bm{T}_g$ に収束する。これは、本手法が事前知識を強制的に反映できることを示している。
• 融合ペナルティ $\lambda_{g_1g_2} \to \infty$ に近づくと、推定値 $\hat{\bm{\Omega}}_{g_1}$ と $\hat{\bm{\Omega}}_{g_2}$ は互いに収束する。これは、クラス間で情報が強くプールされていることを示している。
• ペナルティおよび標的行列の選択に応じて、リッジ推定量、融合ラッソ推定量、非融合推定量といった既存推定量を一般化する。
• シミュレーションスタディでは、標準的手法と比較して高次元設定下で推定精度と安定性が向上していることが示された。
• 実際の12個の diffuse large B-cell lymphoma のサブタイプの遺伝子発現データセットへの応用では、生物学的に意味のある構造を持つ差分ネットワークを効果的に同定できた。