[論文レビュー] A general spline representation for nonparametric and semiparametric density estimates using diffeomorphisms

Ethan Anderes, Marc Coram|arXiv (Cornell University)|May 24, 2012

Statistical Methods and Inference参考文献 28被引用数 8

ひとこと要約

この論文は、微分同相（diffeomorphisms）を用いた非パラメトリックおよびセミパラメトリック密度推定フレームワークを提案する。密度は、既知のベース測度の滑らかで可逆な変換として再パrameter化される。計算解剖学における微分同相フローを活用することで、正則化付き最尤推定器（PMLE）の存在と有限次元的特徴付けを確立し、解がEuler-Lagrange方程式と関連することを示し、一般化されたSteinの補題との驚きの関連を明らかにする。

ABSTRACT

A theorem of McCann shows that for any two absolutely continuous probability measures on R^d there exists a monotone transformation sending one probability measure to the other. A consequence of this theorem, relevant to statistics, is that density estimation can be recast in terms of transformations. In particular, one can fix any absolutely continuous probability measure, call it P, and then reparameterize the whole class of absolutely continuous probability measures as monotone transformations from P. In this paper we utilize this reparameterization of densities, as monotone transformations from some P, to construct semiparametric and nonparametric density estimates. We focus our attention on classes of transformations, developed in the image processing and computational anatomy literature, which are smooth, invertible and which have attractive computational properties. The techniques developed for this class of transformations allow us to show that a penalized maximum likelihood estimate (PMLE) of a smooth transformation from P exists and has a finite dimensional characterization, similar to those results found in the spline literature. These results are derived utilizing an Euler-Lagrange characterization of the PMLE which also establishes a surprising connection to a generalization of Stein's lemma for characterizing the normal distribution.

研究の動機と目的

• 密度推定を、既知のベース測度への微分同相による変換として再定式化し、複雑な密度の柔軟なモデリングを可能にする。
• 滑らかで可逆な変換を用いた、非パラメトリックおよびセミパラメトリック密度推定の計算的に扱いやすいフレームワークを構築する。
• この変換に基づくフレームワークにおける正則化付き最尤推定器（PMLE）の理論的保証——存在性と有限次元的特徴付け——を確立する。
• PMLEのEuler-Lagrange方程式と、正規分布を特徴付ける一般化されたSteinの補題との関連を明らかにする。
• 非パラメトリックおよびセミパラメトリックの例を通じて、本手法の実用性を示す。特に、ガウス分布への収縮を含む。

提案手法

• 本手法は、観測されたi.i.d.データを、既知のベース確率測度 𝔼 への微分同相 φ による変換としてモデル化し、X_i ~ 𝔼∘φ と定式化する。
• 時間に依存するベクトル場を用いて、滑らかで可逆かつ計算的に扱いやすい微分同相の豊かなクラスをフロー力学によって生成する。
• 正則化付き最尤推定器（PMLE）は、滑らかさからの逸脱をペナルティ項で抑える負の対数尤度の最小化により導出される。
• PMLEの解は、微分同相の空間における変分法から導かれるEuler-Lagrange方程式を介して、有限次元的特徴付けを有することが示される。
• 本手法は、計算解剖学および画像処理の道具を活用し、特にSobolev型ベクトル場および微分同相フローの理論を応用する。
• 合成関数の微分法則とトレースの恒等式を用いて、対数尤度のベクトル場に関する勾配を導出し、変換の発散と勾配を含む重要な式を得る。

実験結果

リサーチクエスチョン

• RQ1 密度推定を、微分同相による既知のベース測度への変換として再定式化できるか。これにより、柔軟かつ正則化された推論が可能になるか？
• RQ2 微分同相 φ の正則化付き最尤推定器（PMLE）は存在するか。また、それが有限次元的に特徴付けられるか？
• RQ3 PMLEのEuler-Lagrange方程式と、正規分布を特徴付ける一般化されたSteinの補題との関連は何か？
• RQ4 ベース測度 𝔼 に有限次元のモデルを用いることで、本手法をセミパラメトリック密度推定にどのように応用できるか？
• RQ5 異なるベース測度およびペナルティ構造の選択下で、得られる密度推定器の計算的および理論的性質は何か？

主な発見

• ベクトル場空間の弱い正則性条件の下で、微分同相 φ の正則化付き最尤推定器（PMLE）は存在し、well-definedである。
• PMLEの解は、スプラインスムージングに類似した有限次元的特徴付けを有し、ベクトル場の離散化により数値計算が可能になる。
• PMLEのEuler-Lagrange方程式は、正規分布を特徴付ける一般化されたSteinの補題との驚きの関連を示している。
• ベクトル場 h に関する対数尤度の勾配は、∫₀¹ [hᵤ·∇log det Dφᵤ₁ + div hᵤ] ∘ φᵤ₁(x) du として導出され、効率的な最適化を可能にする。
• 本手法は非パラメトリックおよびセミパラメトリック密度推定を両立できる： 𝔼 が固定（例：ガウス分布）の場合は非パラメトリック、𝔼 がパラメトリック族の場合はセミパラメトリックとなる。
• ガウス分布をベース測度として選び、恒等変換からの逸脱をペナルティで抑えることで、事前知識（例：ガウス性）への収縮を可能にする。