[論文レビュー] Optimal rates of entropy estimation over Lipschitz balls

Yanjun Han, Jiantao Jiao+2 more|arXiv (Cornell University)|Nov 6, 2017

Mathematical Approximation and Integration参考文献 20被引用数 16

ひとこと要約

本稿は、密度関数のリプシッツ球上で、密度が0から離れている必要がない場合のエントロピー推定におけるミニマックス最適レートを確立する。ハリ―ド・リトルウッドの最大関数不等式の新規応用と近似理論によるバイアス解析を通じて、滑らかさパrameter $s \in (0,2]$ に対して最適レート $(n\ln n)^{-s/(s+d)} + n^{-1/2}$ を得た。これは、最小滑らかさ仮定の下で長年の未解決問題を解消するものである。

ABSTRACT

We consider the problem of minimax estimation of the entropy of a density over Lipschitz balls. Dropping the usual assumption that the density is bounded away from zero, we obtain the minimax rates $(n\ln n)^{-s/(s+d)} + n^{-1/2}$ for $0

研究の動機と目的

• 密度が0から離れていない場合のリプシッツ球上のミニマックスエントロピー推定レートのギャップを埋める。
• $s$-ホルダー滑らかさ（$0 < s \leq 2$）の下で、エントロピー推定の鋭いミニマックス下界と上界を確立する。
• 特にサブガウス型およびサブエクスポネンシャル型を含む、急速に成長するオーリッチノルムを持つクラスを用いて、結果を無限大サポートの密度へ一般化する。
• カーネル密度推定を用いた標準的な積分形プラグイン推定量が、最適レートに到達できないことを示す。
• ハリ―ド・リトルウッドの最大関数不等式を用いたフィッシャー情報量に関する新しい不等式を確立するが、これは独立に興味深い可能性を有する。

提案手法

• 2段階推定量を提案：まず、修正されたカーネル法を用いて真の密度を $C^2$ 関数で近似し、次にバイアス補正付きプラグイン法でエントロピーを推定する。
• ハリ―ド・リトルウッドの最大関数不等式を用いて、特に密度が0に近い場合の第一段階近似のバイアスを制御する。
• 密度に事前分布を導入してパラメトリックな部分モデルを構築し、レ・カムの方法と検定論的アプローチを用いてミニマックス下界を導出する。
• ディッツィアン＝トティクの滑らかさモジュラスを用いて近似誤差を定量化し、推定量のバイアスと関連付ける。
• 集中不等式とエントロピー積分の境界を用いて、第二段階推定量の分散を解析する。
• 密度のサポートが無限大でもよい場合に、密度の急速に成長するオーリッチノルム（例：サブガウス型）が有界であると仮定することで、レートを一般化し、逆オーリッチ関数を含む追加要因を導出する。

実験結果

リサーチクエスチョン

• RQ1 密度が0から離れていない場合に、$[0,1]^d$ 上の $s$-ホルダー滑らかさを持つ密度関数に対するエントロピー推定のミニマックスレートは何か？
• RQ2 カーネル密度推定を用いた標準的な積分形プラグイン推定量は、この設定で最適ミニマックスレートに到達できるか？
• RQ3 密度のサポートが無限大であるが、急速に成長するオーリッチノルム条件（例：サブガウス型）を満たす場合、ミニマックスレートはどのように変化するか？
• RQ4 ハリ―ド・リトルウッドの最大関数不等式は、滑らかさのない状況におけるエントロピー推定のバイアス制御にどのような役割を果たすか？
• RQ5 解析から導かれるフィッシャー情報量に関する新しい不等式は存在するか？また、それは独立に興味深いものか？

主な発見

• 密度が0から離れていない場合に、$[0,1]^d$ 上の $s$-ホルダー滑らかさを持つ密度関数に対するエントロピー推定のミニマックスレートは、$0 < s \leq 2$ に対して $(n\ln n)^{-s/(s+d)} + n^{-1/2}$ である。
• カーネル密度推定を用いた積分形プラグイン推定量は最適レートに到達できず、最悪ケース性能が厳密に遅い。
• サポートが無限大で、$Ψ$-オーリッチノルムが有界（例：サブガウス型）である密度に対しては、ミニマックスレートが $(n\ln n)^{-s/(s+d)}(\Psi^{-1}(n))^{d(1-d/p(s+d))} + n^{-1/2}$ に一般化され、尾部の挙動の影響が反映される。
• 本稿は、ハリ―ド・リトルウッドの最大関数不等式を用いてフィッシャー情報量に関する新しい不等式を確立したが、これは副産物として得られ、他の非パラメトリック推定問題においても有用である可能性を有する。
• 下界は、2つの巧みな事前分布を用いたパラメトリック部分モデルへの還元により、検定と情報理論的議論を組み合わせて導出された。
• 解析により、エントロピー推定における主な課題が、密度が0に近い領域でのバイアス制御にあることが明らかになった。この問題は、新規の近似法と最大関数技術により解決された。