[論文レビュー] Learning GMMs with Nearly Optimal Robustness Guarantees

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Apr 19, 2021

Machine Learning and Algorithms参考文献 35被引用数 4

ひとこと要約

本稿では、$\epsilon$-破損データから$k$成分の高次元ガウス・ミックスチャネル・モデル（GMM）を計算的に効率的にロバストに学習するためのアルゴリズムを提示する。この手法は、$\widetilde{O}(\epsilon)$の全変動誤差を達成し、対数要因を除いてほぼ最適である。主な革新点は、「強可観測性」と呼ばれる新しいフレームワークであり、個々の成分を学習する必要を回避し、全混合分布を一意かつロバストに特定できるテスト関数を用いる。

ABSTRACT

In this work we solve the problem of robustly learning a high-dimensional Gaussian mixture model with $k$ components from $ε$-corrupted samples up to accuracy $\widetilde{O}(ε)$ in total variation distance for any constant $k$ and with mild assumptions on the mixture. This robustness guarantee is optimal up to polylogarithmic factors. The main challenge is that most earlier works rely on learning individual components in the mixture, but this is impossible in our setting, at least for the types of strong robustness guarantees we are aiming for. Instead we introduce a new framework which we call {\em strong observability} that gives us a route to circumvent this obstacle.

研究の動機と目的

• 敵対的破損下での高次元ガウス・ミックスチャネル・モデルの学習において、ほぼ最適なロバスト性保証を達成すること。
• 強いロバスト性制約下では成分ごとの学習が不可能であるという根本的制限を克服すること。
• 個々の成分の回復を要件としない、ロバストな密度推定を可能にする新しいアルゴリズムフレームワークの開発。
• 弱い仮定の下で、任意の定数$k$に対して$\widetilde{O}(\epsilon)$の全変動誤差が達成可能であることを確立すること。
• 次元に依存しないロバスト性保証を備えた計算的に効率的な解決策を提供し、先行研究の$\epsilon^{\Omega_k(1)}$誤差境界を改善すること。

提案手法

• 『強可観測性』の概念を導入——テスト関数の集合の測定値によって、分布族が一意に特定されるフレームワーク。
• 全変動距離を多項式対数要因の範囲で制御するテスト関数を用い、ロバスト推定を可能にする。
• 最初の成分の初期推定値を正規化する線形変換を適用し、問題を正則化された形に還元する。
• 変換された空間における成分の近接度に基づいてクラスタリングを行い、各連結成分に対してロバストな学習アルゴリズムを適用する。
• 各部分混合分布に対して候補密度関数を構築し、仮説検定を用いて候補リストから最良の近似を選択する。
• 先行研究の仮説検定補題を活用し、高確率で真の混合分布との全変動距離が$O(\epsilon)$以内の候補を特定する。

実験結果

リサーチクエスチョン

• RQ1 任意の定数$k$に対して、$\epsilon$-破損下で$k$成分GMMの学習において$\widetilde{O}(\epsilon)$の全変動誤差を達成できるか？
• RQ2 特に、その回復が情報理論的に不可能な場合に、個々の成分を学習しないロバストな学習アルゴリズムを設計可能か？
• RQ3 次元に依存しないロバスト性保証を維持しながら、計算効率を確保するフレームワークを構築可能か？
• RQ4 テスト関数の測定値が、高次元混合分布において全変動距離の正確な代理として機能できるかをどのように保証できるか？
• RQ5 成分ごとの学習に失敗しても、GMMにおける不正な密度推定においてほぼ最適なロバスト性を達成可能か？

主な発見

• 提案されたアルゴリズムは、$\epsilon$-破損サンプルから$k$成分GMMを学習する際、$\widetilde{O}(\epsilon)$の全変動誤差を達成し、多項式対数要因を除いて最適である。
• 強可観測性のフレームワークにより、成分ごとの推定を要件とせず、先行研究における主要な障壁を回避できる。
• アルゴリズムの実行時間はサンプルサイズおよび$1/\epsilon$に関して多項式時間であり、候補仮説の数は$(1/\epsilon)^{O_{k,A}(1)}$で有界である。
• 仮説検定ステップにより、高確率で候補関数のうち1つが真の混合分布と$O(\epsilon)$の全変動距離以内に存在することが保証される。
• この手法は、既知のロバストな学習技術が適用可能な正則化された形に混合分布を変換し、その後逆変換と重み推定を実行する。
• 最終出力は、$L^1$ノルムで$(2 + \log 1/\epsilon + \chi)^{O_{k,A}(1)} \epsilon$の誤差で真のGMMを近似する密度関数であり、提示された仮定の下では$\widetilde{O}(\epsilon)$の誤差に相当する。