[論文レビュー] Confidence regions and minimax rates in outlier-robust estimation on the probability simplex

Amir-Hossein Bateni, Arnak S. Dalalyan|arXiv (Cornell University)|Feb 12, 2019

Advanced Statistical Methods and Models参考文献 30被引用数 7

ひとこと要約

本稿は、観測値の最大ε割が任意に破損している場合のk次元単体上での確率ベクトルの外れ値に強い推定を研究する。全変動距離、ヘルンバーガー距離、L²距離におけるミニマックスレートを確立し、サンプル平均が3つの指標すべてにおいて最適レートを達成することを示し、スパarsityに適応する明示的な高確率境界を提供する。

ABSTRACT

We consider the problem of estimating the mean of a distribution supported by the $k$-dimensional probability simplex in the setting where an $\\varepsilon$ fraction of observations are subject to adversarial corruption. A simple particular example is the problem of estimating the distribution of a discrete random variable. Assuming that the discrete variable takes $k$ values, the unknown parameter $\\boldsymbol \ heta$ is a $k$-dimensional vector belonging to the probability simplex. We first describe various settings of contamination and discuss the relation between these settings. We then establish minimax rates when the quality of estimation is measured by the total-variation distance, the Hellinger distance, or the $\\mathbb L^2$-distance between two probability measures. We also provide confidence regions for the unknown mean that shrink at the minimax rate. Our analysis reveals that the minimax rates associated to these three distances are all different, but they are all attained by the sample average. Furthermore, we show that the latter is adaptive to the possible sparsity of the unknown vector. Some numerical experiments illustrating our theoretical findings are reported.

研究の動機と目的

• 最大ε割の観測値が敵対的に破損している場合のk次元確率単体上での分布の平均のミニマックス推定リスクを分析すること。
• 全変動距離、ヘルンバーガー距離、L²距離で測定された推定誤差について、非漸近的ミニマックス下界および上界を確立すること。
• 汚染下でも高確率で有効である、ミニマックスレートに従って収束する信頼領域の構築。
• サンプル平均が3つの距離指標すべてにおいてミニマックス最適であり、真のパラメータのスパarsityに適応することを示すこと。
• すべての可能な汚染分布およびスパースパrameterベクトルに対して一様に成り立つ理論的保証を提供すること。

提案手法

• 各観測値が基準分布Pと汚染分布Qの混合から生成されるHuber汚染モデルを分析する。ここで、ε割の外れ値が存在する。
• 真の平均θがs-スパースであると仮定し、すべての可能な基準分布Pと汚染分布Qのうちで最悪のsupをとることでミニマックスリスク境界を導出する。
• 全変動距離、ヘルンバーガー距離、L²距離の各々において、期待推定誤差を抑え込むために、対称化および経験過程技法を用いる。
• 特にスパース成分が存在する状況でも、サンプル平均が真の平均からどれほど逸脱するかを制御するため、BernsteinおよびHoeffding型不等式を適用する。
• 特にヘルンバーガー距離解析において、真のパラメータベクトルの小さな成分を取り扱うために、切断および対称化の議論を導入する。
• 信頼領域B_□(X̄_n, r_n,ε,δ)を構築し、真のパラメータが確率1−δ以上でその領域内に含まれるようにする。ここで半径r_n,ε,δはミニマックスレートと一致する。

実験結果

リサーチクエスチョン

• RQ1 敵対的汚染（ε割の外れ値）下での確率単体上での分布の平均推定におけるミニマックスレートは何か？
• RQ2 全変動距離、ヘルンバーガー距離、L²距離の間でミニマックスレートはどのように異なるのか？また、サンプル平均は3つの距離すべてにおいて最適なのか？
• RQ3 汚染下でも高確率で有効であり、ミニマックスレートに従って収束する信頼領域を構築できるか？
• RQ4 外れ値が存在する状況下でも、真のパラメータベクトルθのスパarsityレベルsに適応できるか？
• RQ5 すべての可能な汚染モデルに対して一様に成り立つ非漸近的高確率境界は何か？

主な発見

• ε-汚染下での単体上での推定におけるミニマックスリスクは、全変動距離およびL²距離では(s/n)^{1/2}のオーダーであり、高確率信頼領域では(log(1/δ)/n)^{1/2}のオーダーである。
• ヘルンバーガー距離ではミニマックスリスクが(s log(1/δ)/n)^{1/2}のオーダーであり、これはサンプル平均によって達成可能である。
• サンプル平均は、全変動距離、ヘルンバーガー距離、L²距離の3つすべてにおいてミニマックス最適であり、敵対的外れ値が存在しても成り立つ。
• サンプル平均に基づく信頼領域はミニマックスレートに従い、確率1−δ以上で有効である。半径はヘルンバーガー距離では(s log(1/δ)/n)^{1/2}、全変動距離では(log(1/δ)/n)^{1/2}のオーダーでスケーリングされる。
• 解析により、3つの距離のミニマックスレートは相異なることが判明し、特に非線形性のためヘルンバーガー距離のレートが遅い。
• サンプル平均は真のパラメータベクトルθのスパarsityレベルsに適応可能であり、事前にsを知らなくても最適レートを達成する。