[論文レビュー] Nearest neighbor density functional estimation based on inverse Laplace transform

Shouvik Ganguly, Jongha Ryu+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Statistical Methods and Models参考文献 67被引用数 7

ひとこと要約

本稿では、密度関数の関数 $f$ のスケーリングされた関数の逆ラプラス変換を用いて、一般の密度関数 functional に対する $L_2$-一貫性を持つ $k$-近傍法推定量を提案する。正規化された $k$-NN ボール体積のガンマ分布への収束を利用するこ とで漸近的不偏性を達成し、シャノンおよびエントロピーとリーマンのエントロピーおよび発散の既知の推定量を回復するとともに、対数エントロピーおよび他の関数 functional に対する新しい一貫性を持つ推定量を導入する。

ABSTRACT

A new approach to $L_2$-consistent estimation of a general density functional using $k$-nearest neighbor distances is proposed, where the functional under consideration is in the form of the expectation of some function $f$ of the densities at each point. The estimator is designed to be asymptotically unbiased, using the convergence of the normalized volume of a $k$-nearest neighbor ball to a Gamma distribution in the large-sample limit, and naturally involves the inverse Laplace transform of a scaled version of the function $f.$ Some instantiations of the proposed estimator recover existing $k$-nearest neighbor based estimators of Shannon and Renyi entropies and Kullback--Leibler and Renyi divergences, and discover new consistent estimators for many other functionals such as logarithmic entropies and divergences. The $L_2$-consistency of the proposed estimator is established for a broad class of densities for general functionals, and the convergence rate in mean squared error is established as a function of the sample size for smooth, bounded densities.

研究の動機と目的

• 局所的密度の関数の期待値として表現される密度関数 functional に対する一般化された $L_2$-一貫性を持つ推定量の開発を目的とする。
• エントロピーおよび発散以外の多様な関数 functional の一貫性を持つ $k$-NN 基盤推定のための統一的フレームワークの欠如に対処することを目的とする。
• 大標本極限における正規化された $k$-NN ボール体積のガンマ分布への収束を活用して、漸近的不偏性を確立することを目的とする。
• 滑らかで有界な密度関数に対して、平均二乗誤差の収束速度を標本サイズの関数として導出することを目的とする。

提案手法

• 推定量は、関数 $f$ のスケーリングされたバージョンの逆ラプラス変換を用いて構築され、関数 functional を $k$-NN 距離に基づく推定に適した形に変換する。
• 滑らかでない密度関数に対して、正規化された $k$-近傍球体積がガンマ分布に漸近的に収束することを活用する。
• $k$-NN 距離の漸近的分布的挙動を制御することにより、広範な密度関数クラスに対して $L_2$-一貫性を保証する。
• この手法により、シャノンおよびリーマンエントロピー、およびカルバック・ライブラーマンおよびリーマン発散の既存の $k$-NN 推定量が自然に特殊ケースとして回復される。
• 滑らかで有界な密度関数に対して、平均二乗誤差の収束速度を標本サイズの関数として導出する。
• このフレームワークにより、適切な $f$ 関数を指定することによって、対数エントロピーなどの以前に取り上げられていなかった関数 functional に対する新しい一貫性を持つ推定量の設計が可能になる。

実験結果

リサーチクエスチョン

• RQ1 $k$-近傍法距離を用いて、一般の密度関数 functional に対して統一的かつ $L_2$-一貫性を持つ推定量を開発することは可能か？
• RQ2 逆ラプラス変換は、$k$-NN ボール体積統計量に基づく漸近的不偏推定量を構築するためにどのように利用できるか？
• RQ3 このフレームワークで一貫性を持って推定可能な関数 functional のクラスは、既知のエントロピーおよび発散を超えてどのようなものか？
• RQ4 滑らかで有界な密度関数に対して、提案された推定量の平均二乗誤差における収束速度は何か？
• RQ5 推定量は、シャノンおよびリーマンエントロピーおよび発散の既存の $k$-NN 推定量をどのように回復するか？

主な発見

• 提案された推定量は、広範な密度関数クラスに対して $L_2$-一貫性を達成し、真の関数 functional 値への平均二乗誤差収束を保証する。
• 正規化された $k$-NN ボール体積が大標本極限でガンマ分布に収束することを活用して、推定量は漸近的に不偏である。
• このフレームワークにより、シャノンおよびリーマンエントロピー、およびカルバック・ライブラーマンおよびリーマン発散の既存の $k$-NN 推定量が自然に特殊ケースとして回復される。
• 対数エントロピーおよび他の未解決の関数 functional に対する新しい一貫性を持つ推定量が発見された。
• 滑らかで有界な密度関数に対して、平均二乗誤差の収束速度が標本サイズの関数として確立された。
• 逆ラプラス変換の使用により、任意の関数 functional を $k$-NN 距離を介して推定可能な形に変換する体系的な手法が提供された。