[論文レビュー] Axiomatic Approach to Variable Kernel Density Estimation

Ilja Klebanov|arXiv (Cornell University)|May 4, 2018

Medical Imaging Techniques and Applications参考文献 13被引用数 7

ひとこと要約

本稿は、線形変換および密度分割に関して不変性を保証する変数カーネル密度推定（VKDE）の公理的枠組みを提案する。これは、小規模から中規模の標本サイズにおける漸近的バンド幅選択の限界を克服することを目的としている。局所的変動と適応的畳み込みに基づく新しいバンド幅選択ルールを導入し、合成データおよび実世界の例において、従来の手法を著しく上回る性能を示す。特に、平均統合二乗誤差（MISE）の観点で、複雑な密度構造をより正確に捉えることができる。

ABSTRACT

Variable kernel density estimation allows the approximation of a probability density by the mean of differently stretched and rotated kernels centered at given sampling points $y_n\in\mathbb{R}^d,\ n=1,\dots,N$. Up to now, the choice of the corresponding bandwidth matrices $h_n$ has relied mainly on asymptotic arguments, like the minimization of the asymptotic mean integrated squared error (AMISE), which work well for large numbers of sampling points. However, in practice, one is often confronted with small to moderately sized sample sets far below the asymptotic regime, which highly restricts the usability of such methods. As an alternative to this asymptotic reasoning we suggest an axiomatic approach which guarantees invariance of the density estimate under linear transformations of the original density (and the sampling points) as well as under splitting of the density into several `well-separated' parts. In order to still ensure proper asymptotic behavior of the estimate, we \emph{postulate} the typical dependence $h_n\propto N^{-1/(d+4)}$. Further, we derive a new bandwidths selection rule which satisfies these axioms and performs considerably better than conventional ones in an artificially intricate two-dimensional example as well as in a real life example.

研究の動機と目的

• 本稿は、小規模から中規模の標本サイズにおける漸近的バンド幅選択ルールの性能の低さに取り組む。
• 既存のVKDE手法における一般線形変換に関しての不変性の欠如が、主な制限要因であると特定する。
• 本稿の目的は、不変性公理を満たす一方で漸近的一貫性を保つバンド幅選択ルールを開発することである。
• 本稿の目的は、VKDEバンド幅ルールの評価に向け、より強固で現実的である枠組みを構築することである。
• 本稿の目的は、非漸近的実用的状況における密度推定の正確性を向上させることである。

提案手法

• 著者らは、線形変換（スケーリングおよび回転を含む）に対する不変性、分離された密度成分の分割に対する不変性、および h ∝ N⁻¹/(d+4) に漸近的に一貫するという3つの不変性公理を導入する。
• 局所的変動と適応的畳み込みに基づき、密度推定に含まれる暗黙方程式を解く固定点反復を用いて、新しいバンド幅選択ルールを導出する。
• 異なる方向におけるカーネルの伸縮および回転を可能にするために、行列値バンド幅 hn ∈ GL(d, ℝ) を使用する。
• ガウスカーネルの場合、ガウス畳み込みおよび微分の性質を用いて、固定点反復を解析的に計算する。
• バンド幅選択ルールは、密度推定の局所的変動を含む暗黙方程式（12）によって定義される。
• ルールは、現在の推定の局所的構造に基づいてバンド幅を更新する固定点反復（9）によって実装される。

実験結果

リサーチクエスチョン

• RQ1 一般線形変換（回転およびスケーリングを含む）に対して不変であるが、スカラーのスケーリングに限らないVKDEのバンド幅選択ルールを開発できるか？
• RQ2 不変性と局所的変動に基づく公理的枠組みは、小規模から中規模の標本サイズにおいて、より強固で正確な密度推定をもたらすか？
• RQ3 このようなルールは、パルゼンの手法や固定感度VKDEといった従来の漸近的手法（MISEの観点で）を上回る性能を示せるか？
• RQ4 提案手法は、標準的KDEや既存のVKDEアプローチと比較して、より正確に複雑な多次元密度構造を捉えることができるか？
• RQ5 暗黙のバンド幅選択方程式を解くために用いられる固定点反復の収束性および計算的性質は何か？

主な発見

• 提案されたバンド幅選択ルール（14）は、人工的な2次元例でMISE 0.38を達成し、標準的KDE（0.57）および他のVKDE手法よりも顕著に低い値を示した。
• 地震データ例では、ルール（14）を用いたVKDEが、標準的KDEおよびβ = 1/2のVKDEと比較して、より正確で地質学的に妥当な密度推定を生成した。
• 密度推定の導関数のMISEも、ルール（14）で最も低く、0.40であった。これは、標準的KDEの0.55およびパルゼンの手法の1.34と比較して顕著に低い。
• ルール（14）を用いた固定点反復は安定した推定に収束し、地震データ例では10～20ステップ程度で視覚的な改善が顕著に観察された。
• パルゼンのルールは、合成例でMISE 0.65、導関数で1.34を示し、複雑な領域で性能が著しく低いことが判明した。
• ガウスカーネルに対する解析的解法により、固定点反復の正確な計算が可能であるが、大規模な標本では依然として計算が高コストである。