[論文レビュー] Inference in Perturbation Models, Finite Mixtures and Scan Statistics: The Volume-of-Tube Formula

Ramani S. Pilla, Catherine Loader|ArXiv.org|Nov 20, 2005

Bayesian Methods and Mixture Models参考文献 40被引用数 6

ひとこと要約

本稿は、混合モデルの次数の検定や空間スキャン統計など、非正則な統計的問題に対して、局所的摂動をノーマルモデルに組み込むことで、統一的な推論枠組みを構築する。尤度比検定統計量の漸近的分布を体積のチューブ公式を用いて近似することで、境界パラメータや特異点が存在する場合でも、正確な分位数推定が可能となる。

ABSTRACT

This research creates a general class of "perturbation models" which are described by an underlying "null" model that accounts for most of the structure in data and a perturbation that accounts for possible small localized departures. The perturbation models encompass finite mixture models and spatial scan process. In this article, (1) we propose a new test statistic to detect the presence of perturbation, including the case where the null model contains a set of nuisance parameters, and show that it is equivalent to the likelihood ratio test; (2) we establish that the asymptotic distribution of the test statistic is equivalent to the supremum of a Gaussian random field over a high-dimensional manifold (e.g., curve, surface etc.) with boundaries and singularities; (3) we derive a technique for approximating the quantiles of the test statistic using the Hotelling-Weyl-Naiman "volume-of-tube formula"; and (4) we solve the long-pending problem of testing for the order of a mixture model; in particular, derive the asymptotic null distribution for a general family of mixture models including the multivariate mixtures. The inferential theory developed in this article is applicable for a class of non-regular statistical problems involving loss of identifiability or when some of the parameters are on the boundary of the parametric space.

研究の動機と目的

• 有限混合モデルの次数の検定という長年の課題に取り組むこと。特に、帰無仮説がパrameter空間の境界上にパラメータを含む場合に焦点を当てる。
• 帰無仮説が識別可能であるが、対立仮説が局所的で非正則な摂動を導入するような摂動モデルの一般化された推論理論を構築すること。
• 有限混合モデルや空間スキャンプロセスなどの非正則な設定における尤度比統計量の分位数近似問題を解決すること。
• 高次元的で曲がった、あるいは特異なパrameter空間における臨界値の計算を、実用的かつ理論的根拠に基づいて行う方法を提供すること。
• 体積のチューブ公式を境界および特異点を有する多様体へと拡張し、複雑なモデルにおける正確な推論を可能にすること。

提案手法

• パラメータ $ \boldsymbol{\lambda} $ を持つノーマル密度 $ f(x;\boldsymbol{\lambda}) $ と、$ \eta \in [0,1] $ を用いた摂動 $ \eta \psi(x;\boldsymbol{\theta}) $ を用いて、局所的摂動をモデル化する一般化された摂動モデルのクラスを提案。
• 帰無仮説 $ \mathcal{H}_0: \eta = 0 $ 対 対立仮説 $ \mathcal{H}_1: \eta > 0 $ の尤度比検定統計量を導出し、やや滑らかさの条件が満たされれば、標準的LRTと同等であることを示す。
• 尤度比検定統計量の漸近的帰無分布が、境界および特異点を有する高次元多様体上でのガウス過程の上界に一致することを確立。
• ホットェリング＝ヴァイラー＝ナイマンの体積のチューブ公式を適用し、体積、境界長、曲率、コーナー測度といった幾何的量の計算により、検定統計量の上尾確率を近似。
• 体積のチューブの高次の項まで明示的に表現し、ベータ分布の尾確率を用いて境界およびコーナー補正を導出。
• 次元 $ d=3 $ まで実装し、幾何的係数 $ \kappa_0, \ell_0, \kappa_2, \ell_1, \nu_0, \ell_2, \nu_1, m_0 $ の記号的計算を実施。低次元ではオイラー＝ポワンカーベの特性を用いて曲率項を簡略化。

実験結果

リサーチクエスチョン

• RQ1 パrameter空間の境界上に存在する注目パラメータを持つ場合、尤度比検定の漸近的帰無分布をどのように近似できるか。
• RQ2 境界および特異点を有する多様体上でのガウス過程の上界の分布に対する正しい幾何的近似は何か。
• RQ3 体積のチューブ公式を、混合モデルやスキャン統計で生じる非コンパクトで非凸的かつ曲がったパrameter空間に拡張可能か。
• RQ4 境界およびコーナー効果をどのように体系的にチューブ公式に組み込み、高次元推論における精度を向上できるか。
• RQ5 多変量混合モデルを含めた有限混合モデルの次数に関する尤度比検定の正確な漸近的帰無分布は何か。

主な発見

• 摂動モデルにおける尤度比検定統計量の漸近的帰無分布は、境界および特異点を有する多様体上でのガウス過程の上界に等しい。
• 体積のチューブ公式は、標準的カイ二乗近似が失敗する非正則な設定においても、検定統計量の分位数を正確に近似する。
• 境界およびコーナー補正は、境界体積 $ \ell_0 $、曲率 $ \kappa_2 $、回転測度 $ \ell_1, \nu_0 $ を含む幾何的積分を用いて導出され、ベータ分布の尾確率の形で明示的な表現が得られる。
• $ d=2 $ の場合、オイラー＝ポワンカーベの特性により、$ \mathcal{E} = 1 $ のとき $ \kappa_2, \ell_1, \nu_0 $ を直接計算する必要がなくなる。
• チューブ体積展開の主要項は $ \zeta_0^J = \int_{\boldsymbol{\Theta}} \left| \det[\nabla_1 \nabla_2^T \rho_J(\boldsymbol{\theta}, \boldsymbol{\theta})] \right|^{1/2} d\boldsymbol{\theta} $ であり、これはパラメータ多様体の内在的体積を表す。
• 本手法は次元 $ d=3 $ まで実装されており、チューブ公式におけるすべての幾何的項を四次までの補正までカバーする完全なソフトウェアライブラリが提供されている。