[論文レビュー] Beyond Maximum Likelihood: from Theory to Practice

Jiantao Jiao, Kartik Venkat+2 more|arXiv (Cornell University)|Sep 26, 2014

Bayesian Modeling and Causal Inference参考文献 23被引用数 12

ひとこと要約

本稿では、近似理論から導かれたミニマックスレート最適推定量を最尤推定（MLE）に代えて用いる、新しい推定フレームワークを提案する。このフレームワークは、高次元関数的推定において顕著な性能向上を達成し、n ln n 個のサンプルで MLE と同等の性能を達成するが、本手法では n 個のサンプルで同様の性能を達成できる。このことは、木構造グラフィカルモデルの構造学習やベイジアンネットワーク分類器の学習において、顕著な性能向上をもたらす。

ABSTRACT

Maximum likelihood is the most widely used statistical estimation technique. Recent work by the authors introduced a general methodology for the construction of estimators for functionals in parametric models, and demonstrated improvements - both in theory and in practice - over the maximum likelihood estimator (MLE), particularly in high dimensional scenarios involving parameter dimension comparable to or larger than the number of samples. This approach to estimation, building on results from approximation theory, is shown to yield minimax rate-optimal estimators for a wide class of functionals, implementable with modest computational requirements. In a nutshell, a message of this recent work is that, for a wide class of functionals, the performance of these essentially optimal estimators with $n$ samples is comparable to that of the MLE with $n \ln n$ samples. In the present paper, we highlight the applicability of the aforementioned methodology to statistical problems beyond functional estimation, and show that it can yield substantial gains. For example, we demonstrate that for learning tree-structured graphical models, our approach achieves a significant reduction of the required data size compared with the classical Chow--Liu algorithm, which is an implementation of the MLE, to achieve the same accuracy. The key step in improving the Chow--Liu algorithm is to replace the empirical mutual information with the estimator for mutual information proposed by the authors. Further, applying the same replacement approach to classical Bayesian network classification, the resulting classifiers uniformly outperform the previous classifiers on 26 widely used datasets.

研究の動機と目的

• パラメータの次元がサンプルサイズと同等またはそれ以上に達する高次元設定において、最尤推定（MLE）の非最適性を是正すること。
• パラメトリックモデルにおける関数的推定量のためのミニマックスレート最適推定量を体系的に構築する手法を構築し、MLE の限界を超えること。
• グラフィカルモデルの構造学習やベイジアンネットワーク分類器の分類といった統計的学習タスクにおける実用的改善を示すこと。
• 実証的相互情報量をより優れた推定量に置き換えることで、同等の精度を得るために必要なサンプルサイズを顕著に削減できることを示すこと。
• MLE がすべての利用可能な事前知識を統合しているように見えるにもかかわらず、普遍的に最適であるという広く一般的に受け入れられている仮定に疑問を呈すること。

提案手法

• 近似理論の結果を活用し、広範な関数的クラスに対してミニマックスレート最適な推定量を構築する。
• チャウ＝リウアルゴリズムにおける実証的相互情報量を、高次元設定でもバイアスと分散を低減する新しい推定量に置き換える。
• 同じ推定量の置き換えをベイジアンネットワーク分類器に適用し、26のベンチマークデータセットにわたる分類精度を一貫して向上させる。
• 分散を低減するがわずかなバイアスを増加させる「収縮型」のアプローチを採用し、高次元推定における総合リスクを低減する。
• エントロピー推定理論を用いて、サンプル複雑度の下界を確立し、相互情報量の MLE が Ω(|X|² / ln|X|) 個のサンプルを必要とすることを示す。
• 理論的および実験的分析を通じて、新しい推定量が MLE よりも少ないサンプル数で一貫性を達成できることを検証し、その効率性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 MLE のバイアスが支配的になる高次元関数的推定において、体系的な手法が MLE を上回ること可能か？
• RQ2 MLE が n ln n 個のサンプルで達成する性能を、n 個のサンプルのみで達成できる推定量を構築することは可能か？
• RQ3 実証的相互情報量をより優れた推定量に置き換えると、木構造グラフィカルモデルにおける構造学習のサンプル複雑度にどのような影響を与えるか？
• RQ4 提案された推定量は、多様な実世界のデータセットにおいて、古典的な MLE に基づく分類器を一貫して上回ることができるか？
• RQ5 相互情報量の一貫した推定の理論的サンプル複雑度下限は何か？ そして新しい推定量はこの下限とどのように比較されるか？

主な発見

• 提案された推定量は、n ln n 個のサンプルで MLE と同等の性能を達成するが、本手法では n 個のサンプルのみで同様の性能を達成でき、理論的利得として最大対数要因の向上を示す。
• 木構造グラフィカルモデルの学習において、修正されたチャウ＝リウアルゴリズムは、同じ精度を得るために必要なサンプル数を 5 分の 1 に削減する。例えば、元の MLE に基づく手法が 10,000 個のサンプルを必要とするのに対し、本手法では 2,000 個のサンプルで十分である。
• 修正された TAN 分類器は、26 の広く使われているデータセットすべてで元の手法を一貫して上回り、スムージング技術を用いなくても低い分類誤差を達成する。
• 誤差確率の減衰曲線から、修正された分類器は 2,000 個のサンプルで 0.7 の誤差確率に達するが、元の手法では 10,000 個のサンプルが必要である。
• 理論的分析により、相互情報量の一貫した推定には Ω(|X|² / ln|X|) 個のサンプルが必要であり、新しい推定量は最適なサンプル複雑度でこれを達成することが確認された。
• 本手法により、MLE における相互情報量の推定が高次元では非最適であることが示され、高度な推定技術によるバイアス低減が顕著な実用的利得をもたらすことが明らかになった。