[論文レビュー] Conditional Density Estimation by Penalized Likelihood Model Selection

Serge Cohen, Erwan Le Pennec|arXiv (Cornell University)|Mar 10, 2011

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿では、条件付き密度推定のための罰則付き尤度モデル選択枠組みを提案し、一般化された罰則条件を用いてKullback-Leibler損失のもとでオラクル不等式を確立する。Massartのモデル選択定理を条件付き密度設定へと拡張し、空間的に変化するガウス・ミクスチャ・モデルの非監視的セグメンテーションへの理論的裏付けを提供する。

ABSTRACT

In this paper, we consider conditional density estimation, and propose a general condition on the penalty of a penalized maximum likelihood estimate to obtain oracle type inequality with Kullback-Leibler type loss. Our aim is threefold: to extend a model selection theorem obtained by Massart for density estimation, to illustrate this theorem with families of piecewise constant conditional density estimator, and to provide some theoretical justification for a companion paper on unsupervised segmentation based on spatially varying Gaussian mixture estimation.

研究の動機と目的

• 無条件から条件付き密度推定へとMassartのモデル選択定理を拡張すること。
• 条件付き密度推定におけるKullback-Leibler損失のもとでオラクル不等式を保証する一般化された罰則条件を確立すること。
• 区分けられた定数の条件付き密度推定子の族を用いて理論枠組みを説明すること。
• 非監視的セグメンテーションにおける空間的に変化するガウス・ミクスチャ・モデルの使用に対する理論的支援を提供すること。

提案手法

• 罰則付き最尤推定が条件付き密度推定におけるオラクル不等式を保証するための一般化された罰則条件を導出する。
• この手法はMassartのモデル選択定理に基づいているが、Kullback-Leibler発散を損失関数として用いる条件付き設定に適応する。
• 理論的枠組みの適用可能性を示すために、具体的な例として区分けられた定数の条件付き密度推定子を用いる。
• モデル空間の複雑さを、尤度とモデルの単純さのバランスをとる罰則項によって制御する。
• 選択されたモデルが真の条件付き密度がモデルクラスに含まれない場合でも、近似的に最小リスク性能を達成できるように罰則を設計する。
• この枠組みは、非監視的セグメンテーションにおける空間的に変化するガウス・ミクスチャ・モデルの使用を正当化するために適用される。

実験結果

リサーチクエスチョン

• RQ1 条件付き密度推定における罰則付き尤度推定のオラクル不等式を保証するための罰則条件は何か？
• RQ2 Massartのモデル選択定理はどのように条件付き密度推定設定へと拡張できるか？
• RQ3 この枠組み下での区分けられた定数の条件付き密度推定子の理論的性質は何か？
• RQ4 提案手法は非監視的セグメンテーションにおける空間的に変化するガウス・ミクスチャ・モデルの使用をどのように支援するか？
• RQ5 条件付き密度推定における最適リスク性能を保証するための罰則の条件は何か？

主な発見

• 罰則付き最尤推定が条件付き密度推定においてオラクル不等式を保証する一般化された罰則条件が確立された。
• 理論的枠組みは、Kullback-Leibler損失を用いた条件付き設定へのMassartのモデル選択定理の成功した拡張を実現した。
• 区分けられた定数の条件付き密度推定子が導出された罰則条件を満たすことが示され、手法の適用可能性が検証された。
• 本手法は、非監視的セグメンテーションにおける空間的に変化するガウス・ミクスチャ・モデルの使用に対して理論的裏付けを提供する。
• 罰則構造のおかげで、真の条件付き密度がモデルクラスに含まれない場合でも、選択されたモデルが近似的に最小リスクを達成することが保証された。