[論文レビュー] Settling the Robust Learnability of Mixtures of Gaussians

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Nov 6, 2020

Machine Learning and Algorithms参考文献 48被引用数 6

ひとこと要約

本稿では、敵対的ノイズによって損傷を受ける可能性がある状況下で、任意の定数個のガウス分布の混合を、証明可能に頑健かつ計算的に効率的なアルゴリズムで学習するための初の手法を提示する。微分作用素を生成関数に適用することで、次元に依存しない多項式的同定可能性を確立する新規な技術を導入し、その結果、弱い混合重みおよび成分分離の仮定のもとで、高確率で誤差境界が $\epsilon^{g(k,A)}$ のオーダーに比例するように、正規化された二乗和（sum-of-squares）緩和法を実現する。

ABSTRACT

This work represents a natural coalescence of two important lines of work: learning mixtures of Gaussians and algorithmic robust statistics. In particular we give the first provably robust algorithm for learning mixtures of any constant number of Gaussians. We require only mild assumptions on the mixing weights (bounded fractionality) and that the total variation distance between components is bounded away from zero. At the heart of our algorithm is a new method for proving dimension-independent polynomial identifiability through applying a carefully chosen sequence of differential operations to certain generating functions that not only encode the parameters we would like to learn but also the system of polynomial equations we would like to solve. We show how the symbolic identities we derive can be directly used to analyze a natural sum-of-squares relaxation.

研究の動機と目的

• 最大 $\epsilon$ 分の1のサンプルが敵対的に損傷を受ける状況下で、ガウス混合分布を証明可能に頑健かつ計算的に効率的に学習するアルゴリズムを開発すること。
• 従来の手法がデータ損傷に脆弱であるか、成分分離や混合重みの有界分数量といった強い仮定を必要とするという限界を克服すること。
• 生成関数に対する微分作用素を用いた新しいフレームワークを確立し、次元に依存しないパrameter回復を実現する、頑健な同定可能性を構築すること。
• 正規化された二乗和緩和法を活用することで、成分がほぼ重なっている場合でも、誤差境界が $\epsilon$ の多項式的関数として減少することを達成すること。
• 分散や混合重みに関する制限的な仮定を排除することで、従来の頑健統計および混合学習の結果を統合・改善すること。

提案手法

• 混合パrameterとその定義多項式方程式を記述する生成関数に、微分作用素の系列を適用することで、『頑健な同定可能性』と呼ばれる新たな同定可能性形式を導入する。
• これらの微分作用素から導かれる記号的恒等式を用いて、正規化された二乗和緩和法の分析を実施し、損傷下でも真の混合構造を捉えることを保証する。
• 正規化された二乗和階層を用い、大きなサブセットのサンプルが混合分布のモーメント条件を近似的に満たすことを制約としてモデル化する。
• 全変動距離に基づくクラスタリングサブルーチンを用いて、互いに近すぎる成分をグループ化し、それらを1つの成分として扱うことで、残りの成分間に十分な分離を確保する。
• 仮説検定を用いて出力を一意の候補混合分布に制限し、リストデコードを避ける一方で、高確率での正しさを維持する。
• サンプル複雑度の境界を $ (d/\epsilon)^{G(k,A)} $ とし、ここで $ G(k,A) $ は成分数 $ k $ と最小混合重みの逆数 $ A $ のみに依存する関数である。

実験結果

リサーチクエスチョン

• RQ1 成分間の定数的分離が要求されない状況下でも、証明可能に頑健かつ計算的に効率的なガウス混合分布の学習アルゴリズムを設計することは可能か？
• RQ2 成分がほぼ重なっている場合でも、混合重みおよび成分パラメータの両方について、誤差境界が $\epsilon$ の多項式的関数として減少するようにすることは可能か？
• RQ3 混合重みが有界分数量（分母が有界な有理数）であるという仮定を排除しながらも、頑健性と効率性を維持することは可能か？
• RQ4 生成関数に対する記号的演算を用いて、混合モデルにおける次元に依存しない同定可能性をどのように達成できるか？
• RQ5 正規化された二乗和フレームワークとモーメントに基づく同定可能性を統合することで、最適なサンプル複雑度を持つ頑健な学習アルゴリズムを構築することは可能か？

主な発見

• アルゴリズムは、混合重みおよび真の成分との全変動距離において、$\epsilon^{g(k,A)}$ の誤差境界を達成する。ここで $g(k,A)$ は $k$ と $A$ のみに依存する正の関数である。
• サンプル複雑度は $d/\epsilon$ の多項式的関数として、具体的には $ (d/\epsilon)^{G(k,A)} $ に比例する。ここで $G(k,A)$ は $k$ と $A$ のみに依存する十分に大きな関数である。
• アルゴリズムは $\text{poly}(n)$ の時間で実行され、確率 0.99 以上で成功し、出力される成分と重みは、置換を除いて真のパラメータから $\epsilon^{g(k,A)}$ 以内に近い。
• スケールに基づくマージ戦略を用いることで、成分間の定数的分離を必要としない。この戦略により、近い成分をグループ化し、残りの成分間に十分な分離を確保する。
• [BDJ+20a] で提案された改善されたクラスタリングサブルーチンと仮説検定を組み合わせることで、出力を一意の混合分布に制限し、実用性を向上させる。
• 主たる貢献は、生成関数に対する微分作用素を用いた、新たな形の頑健な同定可能性の確立である。これにより、高次元かつ損傷を受ける設定下でも、正規化された二乗和緩和法の解析が可能になる。