[論文レビュー] Robust and Heavy-Tailed Mean Estimation Made Simple, via Regret Minimization

Samuel B. Hopkins, Jerry Li+1 more|arXiv (Cornell University)|Jul 31, 2020

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

この論文は、スペクトル的サンプル再重み付けというメタ問題を通じて、高次元におけるロバスト推定とヘビーテイル平均推定を統一する。フィルターや量子エントロピースコアリング（QUE）といったアルゴリズムがレグルート最小化を用いて両問題を解くことができることを示し、最適な誤差率を達成するとともに、既存で最も高速な手法と同等の実行時間を持つ。解析が簡素化され、既存のアルゴリズムをブラックボックスとして適用可能になる。

ABSTRACT

We study the problem of estimating the mean of a distribution in high dimensions when either the samples are adversarially corrupted or the distribution is heavy-tailed. Recent developments in robust statistics have established efficient and (near) optimal procedures for both settings. However, the algorithms developed on each side tend to be sophisticated and do not directly transfer to the other, with many of them having ad-hoc or complicated analyses. In this paper, we provide a meta-problem and a duality theorem that lead to a new unified view on robust and heavy-tailed mean estimation in high dimensions. We show that the meta-problem can be solved either by a variant of the Filter algorithm from the recent literature on robust estimation or by the quantum entropy scoring scheme (QUE), due to Dong, Hopkins and Li (NeurIPS '19). By leveraging our duality theorem, these results translate into simple and efficient algorithms for both robust and heavy-tailed settings. Furthermore, the QUE-based procedure has run-time that matches the fastest known algorithms on both fronts. Our analysis of Filter is through the classic regret bound of the multiplicative weights update method. This connection allows us to avoid the technical complications in previous works and improve upon the run-time analysis of a gradient-descent-based algorithm for robust mean estimation by Cheng, Diakonikolas, Ge and Soltanolkotabi (ICML '20).

研究の動機と目的

• 高次元におけるロバスト平均推定とヘビーテイル平均推定の間の正式な接続の欠如に取り組む。
• 両設定において反復的アルゴリズムを分析するための原理的で統一された枠組みを提供する。
• レグルート最小化と双対性を用いて、フィルターベースおよび勾配ベースのアルゴリズムの解析を簡素化する。
• 両問題に対して最適な誤差率を達成し、既存で最も高速なアルゴリズムと同等の実行時間を持つ。
• 既存のアルゴリズム（例：フィルター、QUE）をロバストおよびヘビーテイル設定へブラックボックスとして適用可能にする。

提案手法

• スペクトル的サンプル再重み付けをメタ問題として導入：再重み付けされた共分散行列の最大固有値を最小化するようにサンプルを再重み付けする。
• スペクトル的サンプル再重み付けがロバストおよびヘビーテイル平均推定の両者と結びつく双対性定理を証明する。
• ロバスト統計からのフィルターアルゴリズムをメタ問題に適用し、乗法的ウェイト更新からのレグルートバウンドを用いる。
• 量子エントロピースコアリング方式（QUE）を活用し、反復回数をほぼ定数に保ち、最適な実行時間を達成する。
• バケット化とプルーニング戦略を用いて問題のサイズを縮小しつつ、濃縮保証を維持する。
• ルゴシ＝メンデルソンの構造的補題を適用し、プルーニングされたサブセット内に良い中心が存在することを保証する。

実験結果

リサーチクエスチョン

• RQ1 ロバスト平均推定とヘビーテイル平均推定の間には、共通のアルゴリズム的解決策を可能にする正式な接続が存在するか？
• RQ2 フィルターのような反復的アルゴリズムは、レグルート最小化を用いて厳密に解析可能であり、特殊なまたは複雑な証明を回避できるか？
• RQ3 同じアルゴリズムフレームワークが、最適な誤差率と高速な実行時間で、両設定（ロバストおよびヘビーテイル）を同時に解けるか？
• RQ4 量子エントロピースコアリング方式（QUE）は、両問題に対してほぼ最適な実行時間を達成するか？
• RQ5 レグルートに基づく技術を用いることで、勾配降下ベースの手法の解析が簡素化可能か？

主な発見

• フィルターアルゴリズムをバケット化された平均のプルーニングされたサブセットに適用すると、ヘビーテイル平均推定において最適な準ガウス誤差を達成し、実行時間は O(k²d² + nd) となる。
• 量子エントロピースコアリング（QUE）方式は、両問題を Õ(1) 回の反復で解き、合計実行時間は Õ(k²d) となり、既存で最も高速なアルゴリズムと一致する。
• 双対性定理により、スペクトル的サンプル再重み付けを解くだけで、やや緩い条件下でロバストおよびヘビーテイル平均推定の両者に十分であることが示された。
• フィルターのレグルートに基づく解析は、先行研究における技術的複雑性を回避し、勾配降下ベースのロバスト平均推定の実行時間バウンドを改善する。
• プルーニングされたバケット化された平均にフィルターおよびQUEをブラックボックスとして適用すると、準ガウス分布の濃縮のもとで、最適な誤差が高確率で達成される。
• 誤差率は最適な O(rδ) を達成し、失敗確率は δ となる。ここで、ヘビーテイル設定では rδ = Ω(√(d/n))、ロバスト設定では ε = O(1) である。