[論文レビュー] High-dimensional Mixed Graphical Models

Jie Cheng, Tianxi Li+2 more|arXiv (Cornell University)|Apr 9, 2013

Statistical Methods and Inference参考文献 34被引用数 15

ひとこと要約

本稿では、連続変数と離散変数を併せ持つデータに対して、グループlasso正則化を用いた回帰ベースのアプローチによりスパarsityを達成する、高次元混合グラフィカルモデルを提案する。この手法は条件付きガウス分布を用いて条件付き依存関係をモデル化し、計算効率を高めるために重み付きlasso近似を採用しており、高次元設定下でもスパースで解釈可能なグラフを構築可能である。CAL500音楽アノテーションデータセットを用いた実験によりその有効性が示された。

ABSTRACT

While graphical models for continuous data (Gaussian graphical models) and discrete data (Ising models) have been extensively studied, there is little work on graphical models linking both continuous and discrete variables (mixed data), which are common in many scientific applications. We propose a novel graphical model for mixed data, which is simple enough to be suitable for high-dimensional data, yet flexible enough to represent all possible graph structures. We develop a computationally efficient regression-based algorithm for fitting the model by focusing on the conditional log-likelihood of each variable given the rest. The parameters have a natural group structure, and sparsity in the fitted graph is attained by incorporating a group lasso penalty, approximated by a weighted $\ell_1$ penalty for computational efficiency. We demonstrate the effectiveness of our method through an extensive simulation study and apply it to a music annotation data set (CAL500), obtaining a sparse and interpretable graphical model relating the continuous features of the audio signal to categorical variables such as genre, emotions, and usage associated with particular songs. While we focus on binary discrete variables, we also show that the proposed methodology can be easily extended to general discrete variables.

研究の動機と目的

• 高次元設定下における連続変数および離散変数を併せ持つ混合型データのスケーラブルなグラフィカルモデルの欠如に応えること。
• 複雑な条件付き依存関係を混合変数タイプで柔軟にモデル化しつつ、計算効率を維持する手法を開発すること。
• 特にグループlassoおよびその重み付きlasso近似を用いることで、正則化による推定グラフィカルモデルのスパarsityを実現すること。
• 従来のガウス分布およびイジンググラフィカルモデルを拡張し、混合データを扱えるようにしつつ、解釈可能性と統計的整合性を保持すること。

提案手法

• 混合連続および離散変数上の同時密度を表現するため、条件付きガウス分布フレームワークを用い、柔軟な条件付き依存関係を可能にする。
• 推定問題を、連続変数に対して線形回帰、離散変数に対してロジスティック回帰として別々の回帰タスクに定式化し、それぞれにℓ1正則化を適用する。
• 特に離散変数と連続変数の間の相互作用項に自然なグループ構造を持つパラメータにグループlasso正則化を適用し、グループ全体のスパarsityを強制する。
• グループlasso正則化を重み付きlassoに近似することで計算効率を向上させ、問題を標準的なlasso回帰形式に還元する。
• これらの正則化回帰を解くことで条件付き独立構造を推定し、ゼロ係数が条件付き独立性を示す。
• 局所的な条件付き尤度に焦点を当てることで、結合尤度最大化の非効率性を回避し、スケーラブルな手法を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける連続変数と離散変数の間の条件付き依存関係を表現するグラフィカルモデルをどのように構築できるか？
• RQ2 スパースな推定を可能にしつつ、解釈可能性と計算可能性を両立させる正則化戦略は何か？
• RQ3 相互作用項が存在する状況において、本手法は従来手法と比較して構造回復精度で優れているか？
• RQ4 グループlasso正則化は、複数の水準を有する離散変数を含む依存関係を効果的に捉えることができるか？また、他の正則化手法と比較して性能はいかがであるか？
• RQ5 重み付きlasso近似を用いることで、正確なグループlassoと比較してアルゴリズムの精度と速度にどのような影響があるか？

主な発見

• 提案手法はCAL500音楽アノテーションデータセットにおいて、スパースで解釈可能なグラフィカルモデルを達成し、音声信号特徴（連続）とジャンル、感情、使用状況（バイナリ）といった楽曲属性を結びつける。
• 離散レベル間で条件付き分散が一定であると仮定する制限付き条件付きガウスモデルの簡略版と比較して、特に相互作用効果が存在する状況で優れた性能を示した。
• 重み付きlasso近似は、正確なグループlassoと比較して計算コストを著しく削減しながらも良好な性能を維持し、高次元設定へのスケーラビリティを実現した。
• 条件付き独立性の推定に関しては頑健であるが、バイナリ変数間の相互作用の推定は連続変数間の相互作用と比較してより困難であることが判明した。
• 本手法はバイナリに限定されない一般の離散変数へも拡張可能であり、回帰ベースで正則化推定を行うフレームワークのおかげで、計算的に実行可能である。