[論文レビュー] Maximum likelihood estimation of a multidimensional log-concave density

Madeleine Cule, Richard J. Samworth+1 more|ArXiv.org|Apr 24, 2008

Bayesian Methods and Mixture Models参考文献 36被引用数 18

ひとこと要約

本稿では、凸最適化とショールのr-アルゴリズムを活用して、チューニングパラメータが不要な一意でグローバルに最適な密度推定を実現する、完全に自動化された非パrametricな最尤推定法を提案する。この手法は推定の存在性と一意性を保証し、最適バンド幅を用いたカーネル法でさえも上回る有限標本性能を示す。

ABSTRACT

Let X_1, ..., X_n be independent and identically distributed random vectors with a log-concave (Lebesgue) density f. We first prove that, with probability one, there exists a unique maximum likelihood estimator of f. The use of this estimator is attractive because, unlike kernel density estimation, the method is fully automatic, with no smoothing parameters to choose. Although the existence proof is non-constructive, we are able to reformulate the issue of computation in terms of a non-differentiable convex optimisation problem, and thus combine techniques of computational geometry with Shor's r-algorithm to produce a sequence that converges to the maximum likelihood estimate. For the moderate or large sample sizes in our simulations, the maximum likelihood estimator is shown to provide an improvement in performance compared with kernel-based methods, even when we allow the use of a theoretical, optimal fixed bandwidth for the kernel estimator that would not be available in practice. We also present a real data clustering example, which shows that our methodology can be used in conjunction with the Expectation--Maximisation (EM) algorithm to fit finite mixtures of log-concave densities. An R version of the algorithm is available in the package LogConcDEAD -- Log-Concave Density Estimation in Arbitrary Dimensions.

研究の動機と目的

• 独立同一分布(i.i.d.)抽出下での多次元対数凸密度に対する最尤推定法(MLE)の存在と一意性を確立すること。
• バンド幅選択の限界を克服するため、チューニングパラメータが不要なMLEの計算フレームワークを構築すること。
• 理論的に最適なバンド幅を用いたカーネル法ですら上回る、有限標本におけるMLEの性能を実証すること。
• 混合モデル（例：EMアルゴリズムを用いたクラスタリング）における推定の実用的応用を可能にすること。
• 広範な利用可能性と再現性を確保するため、RパッケージLogConcDEADを通じたオープンソース実装を提供すること。

提案手法

• MLEの計算を、密度の対数凸性を活用することで一意な解を保証する非微分可能凸最適化問題として定式化する。
• 計算幾何学を用いて、対象領域を単体分割し、対数密度をデータ点に配置された頂点を持つ区分線形「テント関数」として表現する。
• 修正された凸的で非微分可能な目的関数を最小化するためにショールのr-アルゴリズムを適用し、MLEへの収束を実現する。
• 単体上での積分から導かれる明示的公式を用いて、目的関数の部分勾配を計算し、分割構造を活用する。
• 各データ点における「テントポール」の高さを繰り返し調整することで、データの上に張りついた凹型の屋根を形成し、MLEを計算する。
• 実装はRパッケージLogConcDEADに実装されており、任意次元の密度推定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 独立同一分布(i.i.d.)抽出下での多次元対数凸密度に対して、一意な最尤推定法(MLE)が存在するか？
• RQ2 非微分可能かつ高次元な最適化問題であるにもかかわらず、チューニングパラメータが不要にMLEを効率的に計算できるか？
• RQ3 有限標本において、MLEは最適バンド幅を用いたカーネル密度推定法と比べてどのように性能を発揮するか？
• RQ4 MLEは混合モデル（例：EMアルゴリズムを用いたクラスタリング）において効果的に利用可能か？
• RQ5 MLEの計算構造は何か？また、区分線形関数として幾何学的にどのように表現できるか？

主な発見

• 確率1で、独立同一分布(i.i.d.)抽出下での多次元対数凸密度に対する一意な最尤推定法(MLE)が存在し、根本的な存在性の問題を解決する。
• MLEの対数は「テント関数」として表現可能であり、各データ点に配置されたテントポールの上に張りついた張り詰めた屋根の形状をとる。これにより幾何的直観が得られ、計算が可能になる。
• 有限標本において、MLEは最適固定バンド幅を用いたカーネル密度推定法を上回る性能を示す。
• MLEは完全に自動化されており、バンド幅やスムージングパrameterの選択が一切不要である。これはカーネル法とは対照的である。
• EMアルゴリズムを用いた有限混合モデルへの応用が可能であり、実データを用いたクラスタリングの実例でその有効性が示された。
• アルゴリズムのR実装は、公開されたLogConcDEADパッケージを通じて入手可能であり、再現性と応用の促進に貢献する。