[論文レビュー] When does the Tukey median work?

Banghua Zhu, Jiantao Jiao+1 more|arXiv (Cornell University)|Jan 21, 2020

Advanced Statistical Methods and Models参考文献 11被引用数 4

ひとこと要約

この論文は、全 Variation (TV) による破損下におけるTukey中央値のロバスト性を分析し、高次元の半空間対称分布においてその破綻点が1/4に低下することを示している。これはHuberの加法的モデル下での1/3よりも悪い。一方、半空間距離に基づく新しい投影アルゴリズムを提案し、その破綻点は最適な1/2に達しており、平行移動に同値な推定器の理論的限界と一致する。このアルゴリズムは次元に対して線形のサンプル複雑性を示し、有限標本下でも優れた性能を示す。

ABSTRACT

We analyze the performance of the Tukey median estimator under total variation (TV) distance corruptions. Previous results show that under Huber's additive corruption model, the breakdown point is 1/3 for high-dimensional halfspace-symmetric distributions. We show that under TV corruptions, the breakdown point reduces to 1/4 for the same set of distributions. We also show that a certain projection algorithm can attain the optimal breakdown point of 1/2. Both the Tukey median estimator and the projection algorithm achieve sample complexity linear in dimension.

研究の動機と目的

• より強い全 Variation (TV) 破損モデル下におけるTukey中央値推定器の性能を理解すること。このモデルでは真の分布から質量の追加および削除が許容される。
• 特に高次元の半空間対称分布に対して、TV破損下におけるTukey中央値の最大バイアスおよび破綻点を定量化すること。
• 特に破綿点および有限標本下の性能の観点から、Tukey中央値と他のロバスト推定器を比較すること。
• 半空間対称分布に対して、最適な破綿点1/2を達成する新しい投影ベースのアルゴリズムを提案・分析すること。

提案手法

• 論文は、Tukey中央値を、任意の点を通る超平面の一方側の確率質量の下限として定義される深さが最大となる点（点の集合）として定義する。
• TV破損下におけるTukey中央値の母集団レベルの分析を導入し、崩壊関数 h(t) の一般化逆関数を用いて最大バイアスの上限を導出する。
• 著者らは、新しい推定器 $\widetilde{\mathsf{TV}}$ 投影アルゴリズムを定義し、制御された尾部崩壊を有する半空間対称分布の集合へと破損した標本分布を投影する。
• 修正された $\widetilde{\mathsf{TV}}$ 距離に基づく投影により、バイアスおよび破綿点に対するより緊密な制御が可能になる。
• 有限標本の分析は、標本サイズ n が次元 d に対して線形である場合、無限標本極限への収束が定数倍の要因内で達成されることを示す。
• 本手法は、無作為および適応的破損モデルの両方において、Tukey中央値と投影アルゴリズムを比較し、両者に対して理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 TV破損下におけるTukey中央値推定器の破綿点は、古典的なHuberの加法的モデルと比較してどうなるか？
• RQ2 半空間対称分布に対して、TV破損下で破綿点1/2を達成できるロバスト推定器は存在するか？また、これは最適か？
• RQ3 有限標本下におけるTukey中央値の性能は、TV破損下での母集団レベルの挙動と比較してどうなるか？
• RQ4 TV破損下において、$\widetilde{\mathsf{TV}}$ 投影アルゴリズムはTukey中央値を最大バイアスおよび破綿点の観点で上回るか？
• RQ5 TV破損下のロバスト推定において、アフィン同値性と最適な破綿点の間にはトレードオフがあるか？

主な発見

• TV破損下では、高次元の半空間対称分布に対してTukey中央値の破綿点は1/4に低下するが、これはHuberの加法的モデル下の1/3よりも低い。
• $\widetilde{\mathsf{TV}}$ 投影アルゴリズムは、同様の分布クラスに対して破綿点1/2を達成しており、これは任意の平行移動に同値な推定器にとって最適である。
• 投影推定器の最大バイアスは、$ 2h^{-1}(1/2 - \epsilon) $ で有界であり、ここで $ h $ は分布の尾部の崩壊関数、$ \epsilon $ はTV破損レベルである。
• 標本サイズ $ n $ が次元 $ d $ に対して線形である場合、Tukey中央値および投影アルゴリズムの両方の有限標本性能は、定数倍の要因内で母集団極限に近づく。
• TV破損下では、投影アルゴリズムはTukey中央値よりも最大バイアスおよび破綿点の両面で優れているが、アフィン同値性を満たさない。
• 論文は、未解決の問題として、計算効率を要件としないままに、破綿点1/2および良好な有限標本誤差を達成するアフィン同値推定器の設計を提示している。