[論文レビュー] Influence Functions for Machine Learning: Nonparametric Estimators for Entropies, Divergences and Mutual Informations

Kirthevasan Kandasamy, Akshay Krishnamurthy+3 more|arXiv (Cornell University)|Nov 17, 2014

Statistical Methods and Inference参考文献 25被引用数 13

ひとこと要約

本稿は、影響関数を用いて情報理論的汎関数（エントロピー、発散、相互情報量など）の非パラメトリック推定フレームワークを新たに提案する。LOO（1つを除いた）およびデータ分割技術を活用することで、従来の推定器よりも高速な収束速度と優れた経験的性能を達成し、滑らかさの条件下で漸近正規性およびミニマックス最適性といった理論的保証も得られる。

ABSTRACT

We propose and analyze estimators for statistical functionals of one or more distributions under nonparametric assumptions. Our estimators are based on the theory of influence functions, which appear in the semiparametric statistics literature. We show that estimators based either on data-splitting or a leave-one-out technique enjoy fast rates of convergence and other favorable theoretical properties. We apply this framework to derive estimators for several popular information theoretic quantities, and via empirical evaluation, show the advantage of this approach over existing estimators.

研究の動機と目的

• 1つ以上の分布の統計的汎関数のための、標本効率的で非パラメトリックな推定器の開発。
• 理論的最適性は保証されているが、実務ではデータ分割推定器の経験的性能が劣るとされる問題の解消。
• 複数分布の汎関数への影響関数理論の拡張と、収束速度および漸近正規性の確立。
• 十分な滑らかさの条件下で、情報理論的量のミニマックス最適推定器の提供。
• さまざまな汎関数（条件付きバージョンを含む）の推定器を構築することで、フレームワークの一般性の提示。

提案手法

• 半パラメトリック統計における影響関数を用いて、事前推定器の後処理補正を実施するための von Mises 展開を用いる。
• 従来のデータ分割（DS）手法よりも標本効率と経験的性能が向上する、1つを除いた（LOO）推定器を導入する。
• LOO推定標本からのLOO密度推定値 $ \widehat{p}_{XZ,-i}, \widehat{p}_{YZ,-i} $ を用いて、形 $ S(a,b) = \int p_XZ^a p_YZ^b $ の汎関数の推定器を導出する。
• 正則性条件および滑らかさ $ s > d/2 $ の下で、DS推定器の漸近正規性を確立する。
• プラグイン推定値 $ \widehat{S}(a,b) $ を用いて漸近分散の一貫推定器を提供し、信頼区間の構築を可能にする。
• このフレームワークを応用して、エントロピー、発散、相互情報量、およびそれらの条件付きバージョンの推定器を導出する。

実験結果

リサーチクエスチョン

• RQ1 影響関数を用いて、収束速度が速い非パラメトリック推定器を情報理論的汎関数に構築できるか？
• RQ2 理論的最適性を維持しつつ、経験的性能においてデータ分割法よりもLOO推定器が優れるか？
• RQ3 複数分布の汎関数の推定器の収束速度および漸近的性質は何か？
• RQ4 滑らかさの仮定の下で、提案された推定器はミニマックス最適か？
• RQ5 このフレームワークは、特定の情報測度にとどまらず、広範なクラスの汎関数を推定するために一般化可能か？

主な発見

• LOO推定器は、データ分割推定器と同等のパラメトリック収束速度を達成するが、シミュレーションにおいてより優れた経験的性能を示す。
• 複数分布の汎関数に対するDSおよびLOO推定器は、十分な滑らかさ $ s > d/2 $ の下で、いずれもパラメトリック速度を達成する。
• DS推定器は $ p_{XZ} \neq p_{YZ} $ のとき漸近正規性を示し、$ \widehat{S}(a,b) $ のプラグインによる漸近分散の一貫推定器が得られる。
• 複数分布の汎関数の推定に対する下界が確立され、滑らかさの下でDSおよびLOO推定器がミニマックス最適であることが示された。
• このフレームワークにより、条件付き発散や相互情報量など、いくつかの汎関数について、これまでに知られていた最初の推定器が得られ、多くの場合で特殊化された手法を上回る性能を示した。
• 経験的評価では、画像クラスタリングタスクにおいて優れた性能を発揮し、本手法の実機械学習応用における実用性を裏付けた。