[論文レビュー] Approximate nonparametric maximum likelihood inference for mixture models via convex optimization

Long Feng, Lee H. Dicker|arXiv (Cornell University)|Jun 7, 2016

Bayesian Methods and Mixture Models参考文献 28被引用数 3

ひとこと要約

本稿では、多次元混合モデルにおける非パrametric最尤推定（NPML）の近似法として、凸最適化に基づくアプローチを提案する。この手法により、強いパラメトリック仮定を必要とせず、スケーラブルかつ高精度な推論が可能となる。本手法は高次元の混合分布を効率的に推定でき、野球分析、マイクロアレイ分類、血糖値予測といった実世界の応用において、単変量およびパラメトリック手法と比較して優れた性能を示す。

ABSTRACT

Nonparametric maximum likelihood (NPML) for mixture models is a technique for estimating mixing distributions that has a long and rich history in statistics going back to the 1950s, and is closely related to empirical Bayes methods. Historically, NPML-based methods have been considered to be relatively impractical because of computational and theoretical obstacles. However, recent work focusing on approximate NPML methods suggests that these methods may have great promise for a variety of modern applications. Building on this recent work, a class of flexible, scalable, and easy to implement approximate NPML methods is studied for problems with multivariate mixing distributions. Concrete guidance on implementing these methods is provided, with theoretical and empirical support; topics covered include identifying the support set of the mixing distribution, and comparing algorithms (across a variety of metrics) for solving the simple convex optimization problem at the core of the approximate NPML problem. Additionally, three diverse real data applications are studied to illustrate the methods' performance: (i) A baseball data analysis (a classical example for empirical Bayes methods), (ii) high-dimensional microarray classification, and (iii) online prediction of blood-glucose density for diabetes patients. Among other things, the empirical results demonstrate the relative effectiveness of using multivariate (as opposed to univariate) mixing distributions for NPML-based approaches.

研究の動機と目的

• 多次元混合分布に対する非パrametric最尤（NPML）推定の、長年の計算的および理論的課題に取り組むこと。
• 凸最適化を用いて、任意の多次元混合分布を実用的でスケーラブルかつ理論的に裏付けられた方法で適合させる。
• 近似NPMLの具体的な実装ガイドラインを提供する。これには、サポート集合の同定とアルゴリズム比較が含まれる。
• 実データ応用における多次元混合分布と単変量混合分布の間の経験的利点を示すこと。

提案手法

• 本手法は、近似NPML推定を凸最適化問題として定式化し、内点法を活用して計算を効率化する。
• 正確なNPMLの計算負荷を回避しつつ統計的一致性を保つため、NPMLEの凸近似を用いる。
• 推定された混合分布のサポート集合は、最大尤度推定値の凸包内に存在することを示す理論的結果に基づいて同定される。
• 収束速度、精度、高次元データにおけるスケーラビリティといった指標を用いて、アルゴリズムを比較する。
• 本手法は、野球選手のパフォーマンス、高次元マイクロアレイ分類、連続的血糖モニタリングの3つの実データ問題に適用される。
• 状態空間モデル（例：カルマンフィルタ）と非パラメトリック混合分布を組み合わせ、時間的に変化するパラメータをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化を用いることで、多次元混合モデルにおける近似NPML推定を計算的に実行可能かつスケーラブルにできるか？
• RQ2 経験ベイズ設定において、多次元混合分布の性能は単変量のものと比べてどのように異なるか？
• RQ3 高次元問題において、推定された混合分布のサポート集合を効果的かつ信頼性高く同定する方法は何か？
• RQ4 異なる最適化アルゴリズムは、コアとなる凸問題を解く上で、精度、速度、頑健性の観点でどのように比較できるか？
• RQ5 本手法は、遺伝学や医療モニタリングのような実世界の応用において、標準的なパラメトリック手法や経験ベイズ手法を上回る性能を示せるか？

主な発見

• 提案された凸最適化手法は、血糖値予測において顕著な性能向上を達成し、結合カルマンフィルタモデルと比較して平均二乗誤差（MSE）を5.7%低減した。
• マイクロアレイ分類において、多次元NPML手法は単変量およびパラメトリック手法を上回り、高次元設定下での精度向上を示した。
• NPMLEに基づく手法は、血糖値データセットにおいてCGMと比較してMSEを1.51低減し、個々のモデルおよび結合モデルをすべて上回った。
• 楕円的単峰性尤度のもとでは、推定された混合分布のサポート集合がMLEの凸包の部分集合に含まれることを示した。これにより、計算が効率化された。
• 非パラメトリック混合分布を組み込んだカルマンフィルタはMSEを1.03に低下させ、線形モデル（MSE 1.56）および結合モデル（MSE 1.54）を著しく上回った。
• 経験的結果から、相関のある成分を有する多次元混合分布は、すべての3つの実データ応用において、単変量の対応物よりも優れた推論を実現することが確認された。