[論文レビュー] Upper Bound on Normalized Maximum Likelihood Codes for Gaussian Mixture Models

So Hirai, Kenji Yamanishi|arXiv (Cornell University)|Sep 4, 2017

Bayesian Methods and Mixture Models参考文献 2被引用数 5

ひとこと要約

本稿は、ガウス混合モデル（GMMs）の正規化最大尤度（NML）コード長に対して上界を確立し、ドメイン制限に必要なデータスケーリングに対してもスケール不変なモデル選択が保持されることを示している。さらに、一般化ロジスティック分布のNMLコード長を、有界なパラメータ領域における解析的正規化項の導出によって補正している。

ABSTRACT

This paper shows that the normalized maximum likelihood~(NML) code-length calculated in [1] is an upper bound on the NML code-length strictly calculated for the Gaussian Mixture Model. When we use this upper bound on the NML code-length, we must change the scale of the data sequence to satisfy the restricted domain. However, we also show that the algorithm for model selection is essentially universal, regardless of the scale conversion of the data in Gaussian Mixture Models, and that, consequently, the experimental results in [1] can be used as they are. In addition to this, we correct the NML code-length in [1] for generalized logistic distributions.

研究の動機と目的

• 制限のないパrameterドメインによる発散を回避するため、GMMsのNMLコード長に対する計算可能な上界を導出すること。
• NML基準を用いたモデル選択がデータスケール変換に対して不変であることを示し、そのロバストネスを保証すること。
• 有界パrameter制約下で、一般化ロジスティック分布のNMLコード長の正規化項を解析的に計算することで、NMLコード長を補正すること。
• スケーリング変換および正規化補正後においても、先行研究の実験結果が再利用可能であることを検証すること。

提案手法

• GMMsの正規化項 𝒞(ℳ, n) に対して上界を導出するため、共分散行列の固有値によって定義される有界領域にパラメータドメインを制限する。
• 平均および共分散の最尤推定量（MLE）を用いて尤度関数を定義し、変数変換を適用してスケール不変性を分析する。
• 尤度項がすべてのモデルで一様にスケーリングされることを証明することで、モデル間のNMLコード長の差がデータスケーリングに対して不変であることを示す。
• 一般化ロジスティック分布のパラメータ θ に対して有界領域 [θ_min, θ_max] を導入し、MLEをこれに制限することで、正規化が有限になるようにする。
• MLEのガンマ分布の性質を用いて正規化項を解析的に計算し、有界な θ ドメイン上で積分することで、log(θ_max/θ_min) 依存性を導出する。
• 体積およびガンマ関数の近似を用いて正規化項に対する上界を提案し、閉形式のuNMLコード長を導出する。

実験結果

リサーチクエスチョン

• RQ1 制限された有界ドメインにおいて、GMMsのNMLコード長はデータスケーリングに対して不変であるか？
• RQ2 発散を回避するため、GMMsの正規化項に対して解析的な上界を導出可能か？
• RQ3 NMLを基準とするモデル選択において、スケール変換がどのように影響を及えるか？
• RQ4 有界パラメータドメイン下で、一般化ロジスティック分布のNMLコード長の正しい正規化項は何か？
• RQ5 スケーリング変換および正規化補正後でも、先行研究の実験結果を再利用可能か？

主な発見

• 2つのモデル間のNMLコード長の差がデータスケーリングに対して不変であることを示し、スケールに依存しないモデル選択が本質的に普遍的であることを証明した。
• GMMsの正規化項 𝒞(ℳ, n) に対する上界として、𝒞_u(ℳ, n) = B(m,R,ε) × (n/(2e))^(mn/2) / Γ_m((n−1)/2) を導出し、これは有限かつ計算可能であることを示した。
• 一般化ロジスティック分布の正規化項は、𝒞(ℳ) = (n^n / (e^n (n−1)!)) × log(θ_max / θ_min) として解析的に計算され、有限かつ取り扱いやすいNMLコード長を保証した。
• 一般化ロジスティック分布のNMLコード長に対する補正は、MLEの正確な分布を反映しており、従来の近似手法よりも精度が向上した。
• GMMsのNMLコード長に対する上界のおかげで、データスケーリング後でも先行研究の実験結果を再評価せずに使用可能である。
• 提案されたuNMLコード長は、元のNMLと同等のモデル選択性能を維持しており、実用的利用における有効性を確認した。