[論文レビュー] Generalized Exponential Concentration Inequality for Renyi Divergence Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用数 9

ひとこと要約

本稿は、d次元単位立方体上での2つの独立なi.i.d.標本を用いた非パラメトリックRényi-α発散推定器について、最初の有限標本における指数的集中不等式を提示する。手法は滑らかな Hölderクラスの密度関数を仮定したカーネル密度推定を用い、標本サイズに関して指数的に減少するバインドを確立し、有限標本におけるRényi発散推定の最初のこのような集中結果を証明する。

ABSTRACT

Estimating divergences between probability distributions in a consistent way is of great importance in many machine learning tasks. Although this is a fundamental problem in nonparametric statistics, to the best of our knowledge there has been no finite sample exponential inequality convergence bound derived for any divergence estimators. The main contribution of our work is to provide such a bound for an estimator of Renyi divergence for a smooth Holder class of densities on the d-dimensional unit cube. We also illustrate our theoretical results with a numerical experiment.

研究の動機と目的

• 有限標本におけるRényi-α発散推定器の理論的理解のギャップを埋め、収束保証を導出すること。
• 非パラメトリックRényi-α発散推定器に対して、最初の指数的集中不等式を提供し、非パラメトリック統計における長年の未解決問題に取り組むこと。
• Hölder滑らかさ条件の下で、カーネルベースのRényi-α発散推定器のバイアスと分散の理論的バインドを確立すること。
• d次元単位立方体上に制限された多変量正規分布における数値実験を通じて、理論的バインドを検証すること。

提案手法

• 2つの独立なi.i.d.標本から得られる2つの元の分布の密度を推定するために、d次元単位立方体 [0,1]^d 上で積型カーネルを用いたカーネル密度推定を採用する。
• テイラー展開とHölder連続性の仮定（滑らかさパラメータβおよびノルムr）を適用し、境界付近での密度推定器のバイアスをバインドする。
• バンド幅をhとしたとき、カーネル密度推定器のバイアスバインドを O(h^{β}) のオーダーで得る。
• McDiarmidの不等式を用いて、発散推定器の個々の標本変更に対する感度が O(1/n) であることを示し、発散推定器の指数的集中不等式を導出する。
• Hölderの不等式と標準的なカーネル密度推定の結果を組み合わせ、バイアスと分散のバインドを統合し、総誤差バインドを O(h^{β} + h^{2β} + 1/(n h^d)) として得る。
• バンド幅hを最適化することで、密度関数が無限に微分可能（β = ∞）である場合に平均二乗誤差が O(n^{-1}) に達することを示す。

実験結果

リサーチクエスチョン

• RQ1 有限標本における非パラメトリックRényi-α発散推定器に対して、指数的集中不等式を導出できるか？
• RQ2 Hölder滑らかさ条件下でのRényi-α発散推定におけるバイアスと分散の最適なトレードオフは何か？
• RQ3 推定器の収束速度は、次元dおよび元の密度関数の滑らかさβにどのように依存するか？
• RQ4 理論的集中不等式は、現実的な統計的モデルにおいて実証的に検証可能か？

主な発見

• 本稿は、任意の非パラメトリックRényi-α発散推定器に対して、有限標本における最初の指数的集中不等式を確立し、推定器が標本サイズに関して指数的に減少するレートで真の発散値の周囲に集中することを証明する。
• Hölderクラス Σκ(β, L, r) に属する密度関数に対して、カーネル密度推定器のバイアスは、バンド幅hと滑らかさパラメータβを用いて O(h^{β}) のオーダーでバインドされる。
• McDiarmidの不等式を用いて、発散推定器の分散が指数的尾部バインドを満たすことが示され、発散が任意の1標本の変更に対して O(1/n) の感度を示す。
• 推定器の総平均二乗誤差は、O(h^{β} + h^{2β} + 1/(n h^d)) でバインドされ、密度関数が無限に微分可能（β = ∞）である場合には最適レート O(n^{-1}) を達成する。
• d次元単位立方体 [0,1]^3 に制限された3次元正規分布における数値実験により、理論的収束速度が確認され、実験的平均二乗誤差が導出された O(n^{-1}) バインドと一致することが示された。
• 理論的集中不等式は、1から5000までの標本サイズの範囲で、実効誤差を密接に追跡しており、導出された不等式のタイトさが検証された。