[論文レビュー] The Nearest Neighbor Information Estimator is Adaptively Near Minimax Rate-Optimal

Jiantao Jiao, Weihao Gao+1 more|arXiv (Cornell University)|Jan 1, 2018

Statistical Methods and Inference被引用数 21

ひとこと要約

本稿では、トーラス上のホルダー球上で、微分エントロピー推定のためのコザチェンコ–レオネンコ（KL）固定k近傍近似推定量が、滑らかさパラメータ s ∈ (0,2] や密度の下限に関する仮定を必要とせず、対数要因を除いて最小最大レートを達成することを確立している。これは任意の次元 d において、すべての滑らかさレベルで適応的に近似的に最小最大最適であることが証明された最初の推定量である。

ABSTRACT

We analyze the Kozachenko–Leonenko (KL) fixed k-nearest neighbor estimator for the differential entropy. We obtain the first uniform upper bound on its performance for any fixed k over H\{o}lder balls on a torus without assuming any conditions on how close the density could be from zero. Accompanying a recent minimax lower bound over the H\{o}lder ball, we show that the KL estimator for any fixed k is achieving the minimax rates up to logarithmic factors without cognizance of the smoothness parameter s of the H\{o}lder ball for $s \in (0,2]$ and arbitrary dimension d, rendering it the first estimator that provably satisfies this property.

研究の動機と目的

• 非パラメトリック密度推定における近傍推定量の適応性に関する理解のギャップを埋めること。
• 密度がゼロから離れていることを仮定しないホルダー球上でのKL推定量の性能に対する一様上界を確立すること。
• KL推定量がすべての滑らかさレベル s ∈ (0,2] および次元 d において、対数要因を除いて最小最大レートを達成することを示すこと。
• この非パラメトリックな設定において、最初に厳密に適応的で、近似的に最小最大レート最適な推定量を提供すること。

提案手法

• 固定された k に対して、トーラス上でのホルダー球上におけるKL推定量のリスクに対する一様上界を分析する。
• 密度の下限に関する仮定を回避することで、密度がゼロに近づく場合の解析も可能にする。
• 最近年のホルダー球上での最小最大下界を活用し、上界のタイトさを確立する。
• k-NN構造に特化した幾何確率論と集中不等式を組み合わせた証明技法を用いる。
• 滑らかさ s、次元 d、および固定された k パrameter の間の相互作用を分析する。
• 上界に含まれる対数要因が、既知の最小最大下界と一致することを示し、近似的最適性を確認する。

実験結果

リサーチクエスチョン

• RQ1 KL k-NN推定量は、滑らかさパラメータ s を事前に知らない状態で、ホルダー球上での微分エントロピー推定において最小最大レートを達成できるか？
• RQ2 密度がゼロに近づく場合、密度の下限に関する仮定なしにKL推定量は近似的に最小最大性能を維持できるか？
• RQ3 KL推定量はすべての滑らかさレベル s ∈ (0,2] および任意の次元 d において、適応的に最適か？
• RQ4 この推定問題における上界に含まれる対数要因は、既知の最小最大下界とどのように比較されるか？
• RQ5 k を滑らかさ s に合わせて調整しない固定k近傍推定量が、厳密に近似的に最小最大最適であることを証明できるか？

主な発見

• KL推定量は、密度がゼロから離れていることを仮定しない状態でも、トーラス上でのホルダー球上で任意の固定kに対してリスクの均一上界を達成する。
• 上界は既知の最小最大下界と対数要因を除いて一致しており、近似的に最小最大最適性が確認される。
• 推定量はすべての滑らかさレベル s ∈ (0,2] および任意の次元 d において、適応的に近似的に最小最大最適である。
• s の知識を必要としないため、この設定で最初にこのような厳密な適応性を持つ推定量である。
• 分析により、KL推定量の性能が密度が消える場合にもロバストであることが示され、重要な技術的進展である。
• 上界に含まれる対数要因は、最小最大下界と一致しており、タイトであることが確認された。