[論文レビュー] Dualizing Le Cam's method for functional estimation, with applications to estimating the unseens

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Feb 14, 2019

Statistical Methods and Inference参考文献 50被引用数 10

ひとこと要約

本稿は、関数的推定におけるLe Camの二点法の双対化された定式化を導入し、線形汎関数の推定におけるミニマックスリスクが、凸双対性を通じてバイアス・バリアンスのトレードオフによってきわめて明確に特徴付けられることを明らかにする。指数型分布族や高次元設定を含むさまざまなモデルにおいて、未観測の量（例えば、異なる要素数や未発見の種の数）を推定する際のタイトな下界を確立し、臨界なサンプリング閾値における明確なフェーズ転移（肘状の挙動）を示す。

ABSTRACT

Le Cam's method (or the two-point method) is a commonly used tool for obtaining statistical lower bound and especially popular for functional estimation problems. This work aims to explain and give conditions for the tightness of Le Cam's lower bound in functional estimation from the perspective of convex duality. Under a variety of settings it is shown that the maximization problem that searches for the best two-point lower bound, upon dualizing, becomes a minimization problem that optimizes the bias-variance tradeoff among a family of estimators. For estimating linear functionals of a distribution our work strengthens prior results of Donoho-Liu \cite{DL91} (for quadratic loss) by dropping the Hölderian assumption on the modulus of continuity. For exponential families our results extend those of Juditsky-Nemirovski \cite{JN09} by characterizing the minimax risk for the quadratic loss under weaker assumptions on the exponential family. We also provide an extension to the high-dimensional setting for estimating separable functionals. Notably, coupled with tools from complex analysis, this method is particularly effective for characterizing the ``elbow effect'' -- the phase transition from parametric to nonparametric rates. As the main application we derive sharp minimax rates in the Distinct elements problem (given a fraction $p$ of colored balls from an urn containing $d$ balls, the optimal error of estimating the number of distinct colors is $ ilde Θ(d^{-\frac{1}{2}\min\{\frac{p}{1-p},1\}})$) and the Fisher's species problem (given $n$ iid observations from an unknown distribution, the optimal prediction error of the number of unseen symbols in the next (unobserved) $r \cdot n$ observations is $ ilde Θ(n^{-\min\{\frac{1}{r+1},\frac{1}{2}\}})$).

研究の動機と目的

• 関数的推定におけるLe Camの下界のタイトさを、凸双対性を用いて説明すること。
• 線形汎関数のミニマックスリスクに関する先行研究を、連続性のモジュラスに関するHölder仮定を排除することで拡張すること。
• 従来の研究よりも弱い仮定の下で指数型分布族におけるミニマックスリスクを特徴づけること。
• 高次元で分離可能な汎関数推定のための統一的枠組みを構築し、明確なフェーズ転移を示すこと。
• 『未観測の推定』における3つの主要な問題（異なる要素数、Fisherの種の問題、パopulation recovery）にこの手法を適用し、既知の結果を回復・拡張すること。

提案手法

• 二点法に基づくLe Camの下界最適化問題を推定量の最小化問題に双対化し、バイアス・バリアンスのトレードオフ構造を明らかにする。
• 凸双対性を用いて、分布に関する最大化問題を推定量に関する最小化問題に変換し、よりタイトなリスク特徴付けを可能にする。
• 複素解析および近似理論の道具を用いて、$χ^2$-発散とモーメントマッチング制約を分析する。
• i.i.d.および決定的設定において、$χ^2$-発散を用いてミニマックスリスクを特徴づけ、定数係数の違いを除いて双対性の同等性を示す。
• Poisson化およびde-Poisson化の技術を用いて、種の問題における固定標本サイズモデルとPoisson標本モデルを関連付ける。
• Hermite多項式およびモーメントマッチングの議論を活用し、下界に達する可能性のある分布を構築する。

実験結果

リサーチクエスチョン

• RQ1 関数的推定において、Le Camの二点下界がいつタイトになるか。
• RQ2 凸双対性をどのように用いることで、ミニマックスリスクをバイアス・バリアンス最適化問題として再定式化できるか。
• RQ3 観測されたアイテムの一部しか得られない状況で、母集団内の異なる色の数を推定する際のミニマックスレートは何か。
• RQ4 将来の標本における未発見の記号数を推定する際の最適な予測誤差は何か。フェーズ転移（肘）はどこに現れるか。
• RQ5 この手法は、指数型分布族における高次元的または分離可能な汎関数にどのように拡張できるか。

主な発見

• 線形汎関数の推定におけるミニマックスリスクは、双対化されたLe Camの下界によってきわめて明確に特徴付けられ、$ R_{\text{iid}}^{*}(n) \asymp R_{\text{det}}^{*}(n) \asymp \max_{\theta,\theta'} \left\{ |T(\pi) - T(\pi')|^2 : \chi^2(\pi P \| \pi' P) \leq \frac{1}{n} \right\} $ であり、普遍定数の違いを除いて成り立つ。
• 異なる要素数の問題において、正規化誤差は $ d^{-\frac{1}{2} \min\{\frac{p}{1-p}, 1\}} $ の対数的要因の範囲内にあり、$ p = \frac{1}{2} $ で肘状の挙動が現れる。
• Fisherの種の問題において、正規化された予測誤差は $ n^{-\min\{\frac{1}{r+1}, \frac{1}{2}\}} $ の対数的要因の範囲内にあり、$ r = 1 $ で肘状の挙動が現れる。
• 本手法により、[PSW17]のパopulation recoveryに関する先行結果が回復され、明確なフェーズ転移を伴う新しい設定に拡張される。
• Hermite多項式およびモーメントマッチングを用いた解析により、$ \theta \in [-1,1] $ の下で $ \mathbb{E}[|\theta|] $ のミニマックスリスクは $ \tilde{O}(t^{1/2}) $ で有界であり、近似理論を用いた一致する下界が得られる。
• Poisson化モデルと固定標本サイズモデルが $ O(\log n / n) $ の誤差内で等価であることが示され、モデル間をまたがるロバストなリスク解析が可能になる。