[論文レビュー] Efficient EM Training of Gaussian Mixtures with Missing Data

Olivier Delalleau, Aaron Courville+1 more|arXiv (Cornell University)|Sep 4, 2012

Bayesian Methods and Mixture Models参考文献 10被引用数 20

ひとこと要約

この論文では、欠損データを伴う混合ガウスモデル（GMM）のEM学習を高速化するスパニングツリーに基づくアルゴリズムを提案する。計算コストを著しく削減する。欠損パターンの最小スパニングツリー上で行列更新を活用することで、大規模な共分散行列の逆行列計算を各固有の欠損パターンごとに行わずに、条件付き期待値による欠損値の補完を効果的に行い、判別モデルと組み合わせた場合、グローバル平均補完や最近傍補完を上回る性能を発揮する。

ABSTRACT

In data-mining applications, we are frequently faced with a large fraction of missing entries in the data matrix, which is problematic for most discriminant machine learning algorithms. A solution that we explore in this paper is the use of a generative model (a mixture of Gaussians) to compute the conditional expectation of the missing variables given the observed variables. Since training a Gaussian mixture with many different patterns of missing values can be computationally very expensive, we introduce a spanning-tree based algorithm that significantly speeds up training in these conditions. We also observe that good results can be obtained by using the generative model to fill-in the missing values for a separate discriminant learning algorithm.

研究の動機と目的

• 高次元データセットにおける欠損データを伴う標準的なEM学習の計算コストの高さに対処すること。
• 多様な欠損データパターン下でも、EM更新の時間計算量を低減するスケーラブルで効率的な学習アルゴリズムを開発すること。
• 訓練済みGMMからの条件付き期待値による補完を、判別モデルの前処理ステップとして用いる有効性を評価すること。
• 欠損データの分布を生成的モデリングすることで、下流の判別学習アルゴリズムの性能が向上することを示すこと。

提案手法

• スパニングツリーに基づくアルゴリズムを提案し、欠損データパターンを整理・グループ化することで、EM学習中の効率的な行列計算を可能にする。
• スパニングツリー上で行列更新を実行し、各固有の欠損パターンに対して大きな共分散行列の逆行列を計算せずに、条件付き期待値の計算とパラメータの更新を実現する。
• 欠損データが「欠損はランダム（MAR）」であると仮定し、完全共分散行列を有する混合ガウス分布をEMアルゴリズムで学習する。
• 学習済みGMMから解析的に導出された条件付き期待値 $ \mathbb{E}[x_m \mid x_o] $ を用いて、欠損値を補完する。
• 欠損値を含む完全なデータ行列上でGMMを学習し、最適化された行列演算を用いた反復的EステップとMステップの更新を実行する。
• GMMによる補完を、ニューラルネットワークやカーネルリッジ回帰といった判別モデルと組み合わせることで、予測性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様な欠損データパターンを伴う高次元データセットに対して、混合ガウスモデルのEM学習が計算的に実行可能になるか。
• RQ2 GMMからの条件付き期待値による補完は、単純な補完手法と比較して、下流の判別モデルの性能を向上させるか。
• RQ3 欠損パターンの上に構築されたスパニングツリー構造により、EM更新の計算コストを低減しつつモデルの精度を損なわないか。
• RQ4 GMMベースの補完は、グローバル平均補完や最近傍補完と比較して、予測誤差の観点で優れているか。
• RQ5 生成的補完と判別学習を組み合わせることで、GMMを直接予測器として使用する場合よりも優れた結果が得られるか。

主な発見

• 提案されたスパニングツリーに基づくアルゴリズムにより、多数の欠損パターンを有するデータセットにおいて、標準的なEM法と比較してEM学習時間を最大で1桁短縮できる。
• アバロンデータセットにおいて、学習済みGMMからの条件付き期待値による補完は、グローバル平均補完や最近傍補完と比較して、テスト平均二乗誤差の観点で顕著に優れている。
• ニューラルネットワークやカーネルリッジ回帰といった判別モデルと組み合わせた場合、GMMベースの補完はGMMを単独で回帰器として使用する場合よりも低いテスト誤差を達成する。
• 欠損値の割合が増加するほど、GMMベースの補完の効果が顕著になる。これは、最近傍法が近隣の完全なサンプルが不足するため性能が低下するためである。
• 標準的なEM法が、可能な欠損パターンの数が指数関数的に増加する高次元設定では計算的に実行不能になるが、本手法はそのような状況でも有効に機能する。
• 生成モデルが完全なデータ分布を学習することで、判別学習に有用なインダクティブバイアスを提供できることを実証した。特に、データが不完全な状況で顕著である。