[論文レビュー] Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes

Hassan Ashtiani, Shai Ben-David+4 more|arXiv (Cornell University)|Oct 14, 2017

Machine Learning and Algorithms参考文献 49被引用数 4

ひとこと要約

本稿は、分布学習のための新しい圧縮に基づくフレームワークを導入し、小さな圧縮スキームを有するクラスが、ガウス混合分布のロバスト学習において近似的に最適な標本複雑度を達成できることを証明している。一般のガウス分布に対しては $\tilde{\Theta}(kd^2/\epsilon^2)$、軸に沿ったガウス分布に対しては $\tilde{O}(kd/\epsilon^2)$ のタイトな標本複雑度を確立し、既知の下界と一致しており、アグノスティック（ロバスト）学習設定へと拡張されている。

ABSTRACT

We prove that $ ildeΘ(k d^2 / \varepsilon^2)$ samples are necessary and sufficient for learning a mixture of $k$ Gaussians in $\mathbb{R}^d$, up to error $\varepsilon$ in total variation distance. This improves both the known upper bounds and lower bounds for this problem. For mixtures of axis-aligned Gaussians, we show that $ ilde{O}(k d / \varepsilon^2)$ samples suffice, matching a known lower bound. Moreover, these results hold in the agnostic-learning/robust-estimation setting as well, where the target distribution is only approximately a mixture of Gaussians. The upper bound is shown using a novel technique for distribution learning based on a notion of `compression.' Any class of distributions that allows such a compression scheme can also be learned with few samples. Moreover, if a class of distributions has such a compression scheme, then so do the classes of products and mixtures of those distributions. The core of our main result is showing that the class of Gaussians in $\mathbb{R}^d$ admits a small-sized compression scheme.

研究の動機と目的

• 標本圧縮スキームを用いて分布学習における標本複雑度を制限する一般的手法の開発。
• 全変動距離のもとで $k$ 個のガウス分布の混合を学習する際のタイトで近似的に最適な標本複雑度の境界の確立。
• ターゲット分布がガウス混合に近似的にのみなるというアグノスティック（ロバスト）学習設定への結果の拡張。
• 基本分布のための圧縮スキームが、それらの積および混合のための圧縮スキームを導くことの証明。
• 混合クラスの内在次元に関する未解決の問題を解消し、標本複雑度をパラメータ数と圧縮サイズに関連付ける。

提案手法

• 分布のための新しい標本圧縮の概念を提案し、クラスに属する各分布がその標本の小さな部分集合によって符号化可能であることを定義する。
• 任意の小さな圧縮スキームを有するクラスは、圧縮サイズに比例する標本複雑度で学習可能であることを示す。
• $d$ 次元ガウス分布および軸に沿ったガウス分布のクラスに対して、明示的な圧縮スキームを構築し、その存在とサイズを証明する。
• 圧縮スキームの閉包性を用いて、混合操作における圧縮スキームの性質を活用し、ガウス混合のための標本複雑度の上界を導出する。
• 集中と被覆の議論を用いて、圧縮された標本からターゲット分布を推定する際の誤差を制限する。
• 実現可能（realizable）な学習からアグノスティック学習へと結果を拡張し、全変動距離のもとで圧縮スキームがロバスト学習の保証を導くことを証明する。

実験結果

リサーチクエスチョン

• RQ1 圧縮に基づくフレームワークを用いて、ガウス混合モデルの学習におけるタイトな標本複雑度の境界を導出可能か？
• RQ2 全変動距離 $\varepsilon$ 以内で $k$ 個のガウス分布の混合をロバストに学習する際の最適な標本複雑度は何か？
• RQ3 軸に沿ったガウス混合の学習における標本複雑度は、一般のガウス分布と比べてどのように異なり、既知の下界と一致するか？
• RQ4 ある分布クラスに圧縮スキームが存在する場合、そのクラスの混合のためのクラスに対しても小さな圧縮スキームが存在するか？
• RQ5 ある分布クラスの学習における標本複雑度はその内在次元によって特徴づけられるか？そして、圧縮を用いてこれを形式化できるか？

主な発見

• 一般のガウス混合の学習における標本複雑度は $\tilde{\Theta}(kd^2/\varepsilon^2)$ であり、多項対数因子を除いてタイトである。
• 軸に沿ったガウス混合の学習における標本複雑度は $\tilde{O}(kd/\varepsilon^2)$ であり、既知の下界と一致する。
• 結果は、ターゲット分布がガウス混合に近似的にのみなるというアグノスティック（ロバスト）学習設定でも成り立つ。
• $d$ 次元ガウス分布のクラスは小さな圧縮スキームを有しており、これによりその混合のタイトな境界の導出が可能である。
• 圧縮スキームは混合操作に関して閉じている：あるクラスに圧縮スキームが存在するならば、その混合および積に対しても同様に存在する。
• このフレームワークは、従来の上界および下界を改善し、ガウス混合学習の標本複雑度における長年のギャップを解消した。