[論文レビュー] Score matching estimators for directional distributions

Kanti V. Mardia, John T. Kent+1 more|arXiv (Cornell University)|Apr 28, 2016

Morphological variations and asymmetry参考文献 20被引用数 22

ひとこと要約

本稿では、球面やトーラスなどのコンパクトな向き付け可能リーマン多様体上の方向分布に対するスコアマッチング推定を導入し、計算不能な正規化定数を回避する一貫性があり漸近正規な推定量を提供する。この手法は、モーメントに基づく推定量を用いて線形方程式系を解くことでハイヴァリネン損失を最小化するもので、ボンミス＝フィッシャーおよびビンガムモデルにおいて最尤推定と同等の高い効率性を達成する。

ABSTRACT

One of the major problems for maximum likelihood estimation in the well-established directional models is that the normalising constants can be difficult to evaluate. A new general method of "score matching estimation" is presented here on a compact oriented Riemannian manifold. Important applications include von Mises-Fisher, Bingham and joint models on the sphere and related spaces. The estimator is consistent and asymptotically normally distributed under mild regularity conditions. Further, it is easy to compute as a solution of a linear set of equations and requires no knowledge of the normalizing constant. Several examples are given, both analytic and numerical, to demonstrate its good performance.

研究の動機と目的

• コンパクトなリーマン多様体上における方向分布の最尤推定における計算不能な正規化定数の問題に取り組む。
• 従来はユークリッド空間で用いられていたスコアマッチング推定を、球面やトーラスを含む一般のコンパクトな向き付け可能リーマン多様体へと拡張する。
• 数値積分による正規化定数の評価を回避しつつ、統計的整合性と漸近正規性を保ちながら、計算効率の高い推定量を開発する。
• ボンミス＝フィッシャーおよびフィッシャー＝ビンガム分布のような主要な方向分布モデルにおいて、有限標本における強い性能と最尤推定に対する高い効率性を実証する。
• 基礎密度にやや弱い正則性条件が課される条件下で、整合性および漸近正規性を含む理論的保証を確立する。

提案手法

• 正規化定数の必要がないようにスコア関数およびその勾配に注目することで、ハイヴァリネンの損失に基づくスコアマッチング推定量を提案する。
• ラプラシアン＝ベルトラミ作用素と勾配の内積を用いて、コンパクトな向き付け可能リーマン多様体上でのスコアマッチング基準を導出する。これにより座標変換に対して不変性が保証される。
• 推定問題を、データのモーメントと多様体の幾何的構造を含む線形方程式系の解法として表現する。
• 球面および関連する空間における指数型分布族モデル（ボンミス＝フィッシャーおよびビンガム分布を含む）にこの手法を適用し、十分統計量を用いる。
• ストークスの定理を用いて損失をラプラシアン＝ベルトラミ作用素に関連付け、実用的な推定方程式の導出を可能にする。
• モーメントに基づく近似と幾何的制約を組み合わせたハイブリッドスコアマッチング推定量を導入し、有限標本における性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スコアマッチング推定は、球面やトーラスなどのコンパクトな向き付け可能リーマン多様体上の方向分布へ体系的に拡張可能か？
• RQ2 整合性、漸近正規性、および効率性の観点から、スコアマッチング推定量は最尤推定と比較してどの程度の性能を示すか？
• RQ3 方向分布モデルにおける計算不能な正規化定数の評価の計算的負担を、スコアマッチング推定量はどの程度軽減できるか？
• RQ4 ボンミス＝フィッシャーおよびビンガムモデルにおいて、スコアマッチング推定量の漸近的相対効率は最尤推定量と比較してどの程度か？
• RQ5 スコアマッチング推定量は方向分布モデルにおいて二重モーメント推定量として解釈可能か？この解釈は計算および解釈にどのように寄与するか？

主な発見

• スコアマッチング推定量はやや弱い正則性条件（A1）–（A2）の下で一貫性があり、漸近正規分布に従うため、信頼性の高い推論が可能である。
• 正規化定数の知識を一切必要とせず、線形方程式系の解として計算可能であるため、大規模またはストリーミングデータセットへの効率的応用が可能である。
• ボンミス＝フィッシャー分布の場合、ハイブリッドスコアマッチング推定量の漸近的相対効率は、濃度パラメータが小さくても大きくても1に近づく。
• ボンミス＝フィッシャーの場合、十分統計量が線形であるにもかかわらず、スコアマッチング推定量はデータの2次モーメント（例：$ ext{E}[z z^T] $）を効果的に利用しており、二重モーメント構造が顕在している。
• 高濃度領域では高い効率性を達成しており、方向分布が近似的に正規分布に近づくという理論的期待と整合する。
• スコアマッチング推定量の$ ilde{oldsymbol{ heta}} $の漸近的分散は、最尤推定量のそれ以上であり、実際の応用では特にボンミスの場合、効率はしばしば1に近く、非常に高い性能を示す。