[論文レビュー] Estimating Learnability in the Sublinear Data Regime

Weihao Kong, Gregory Valiant|arXiv (Cornell University)|May 4, 2018

Machine Learning and Algorithms参考文献 57被引用数 4

ひとこと要約

本稿では、データの次元に対して部分線形なスケーリングが成り立つ状況ですら、モデルクラスの学習可能性を推定する手法を提案する。具体的には、線形関数によって説明可能なラベル分散の割合を推定する。等方的（isotropic）な状況では $O(\sqrt{d})$ のサンプル数、非等方的（non-isotropic）な状況では $O(d^{1-1/\log(1/\epsilon)})$ のサンプル数を用いることで、一貫性のある共分散推定やラベルの強い分布的仮定を必要とせずに、正確なノイズ分散推定が可能である。

ABSTRACT

We consider the problem of estimating how well a model class is capable of fitting a distribution of labeled data. We show that it is often possible to accurately estimate this "learnability" even when given an amount of data that is too small to reliably learn any accurate model. Our first result applies to the setting where the data is drawn from a $d$-dimensional distribution with isotropic covariance (or known covariance), and the label of each datapoint is an arbitrary noisy function of the datapoint. In this setting, we show that with $O(\sqrt{d})$ samples, one can accurately estimate the fraction of the variance of the label that can be explained via the best linear function of the data. In contrast to this sublinear sample size, finding an approximation of the best-fit linear function requires on the order of $d$ samples. Our sublinear sample results and approach also extend to the non-isotropic setting, where the data distribution has an (unknown) arbitrary covariance matrix: we show that, if the label $y$ of point $x$ is a linear function with independent noise, $y = \langle x , β angle + noise$ with $\|β\|$ bounded, the variance of the noise can be estimated to error $ε$ with $O(d^{1-1/\log{1/ε}})$ if the covariance matrix has bounded condition number, or $O(d^{1-\sqrtε})$ if there are no bounds on the condition number. We also establish that these sample complexities are optimal, to constant factors. Finally, we extend these techniques to the setting of binary classification, where we obtain analogous sample complexities for the problem of estimating the prediction error of the best linear classifier, in a natural model of binary labeled data. We demonstrate the practical viability of our approaches on several real and synthetic datasets.

研究の動機と目的

• データがモデルを正確に学習するのに十分でない場合、ラベル付きデータの分布にどの程度モデルクラスが適合できるかを推定すること。
• 標準的な学習が $\Omega(d)$ のサンプル数を要することの制限を克服し、$o(d)$ のサンプル数で学習可能性を推定できることを示すこと。
• 線形ラベルに独立したノイズを仮定しないで、非等方的かつ非ガウス分布のデータ分布に対しても推定を拡張すること。
• 分散および分類誤差推定のためのサンプル複雑度と最適性に関する理論的保証を提供すること。
• 最小限の分布的仮定のもとで、実データおよび合成データ上で実用的妥当性を示すこと。

提案手法

• データ共分散が未知または任意であっても、線形関数によって説明可能なラベル分散の割合を統一的なアプローチで推定する。
• カイ二乗発散と全変動距離を用いて、高次元球面の幾何的性質を活用し、サンプル複雑度の下界を導出する。
• ガウスラベルの符号変換を用いて、2値分類問題を回帰設定へランダム化還元する。
• 単位ベクトル上の角度積分を用いて、純粋なノイズと純粋な信号の分布間のカイ二乗発散の境界を導出する。
• 球面積分における集中と尾部バウンドを用いて、ノイズと信号のケースの識別可能性の上界を求める。
• 情報理論的議論を用いて、下界を一致させることで、サンプル複雑度の最適性（定数倍の意味で）を確立する。

実験結果

リサーチクエスチョン

• RQ1 データ次元 $d$ に対して $d$ より少ないサンプル数で、モデルクラスの学習可能性（例えば、説明可能な分散）を推定できるか？
• RQ2 データが等方的である場合に、$O(\sqrt{d})$ のサンプル数で線形モデルのノイズ分散を推定できるか？
• RQ3 共分散が未知の非等方的データに対しても、部分線形な学習可能性推定を拡張でき、その場合に必要なサンプル複雑度はどの程度か？
• RQ4 ロジスティックモデルの仮定のもとで、2値分類設定でもこの手法は有効に機能するか？
• RQ5 学習可能性推定のための導出されたサンプル複雑度は、定数倍の意味で最適か？

主な発見

• 等方的ガウス分布の状況では、$O(\sqrt{d})$ のサンプル数で、最良の線形関数によって説明可能なラベル分散の割合を正確に推定できる。
• 条件数が有界な非等方的状況では、ノイズ分散を誤差 $\epsilon$ で推定するのに $O(d^{1-1/\log(1/\epsilon)})$ のサンプル数が必要である。
• 条件数が有界でない場合、必要なサンプル数は $O(d^{1-\sqrt{\epsilon}})$ であり、これらの境界は定数倍の意味で最適である。
• この手法はロジスティックモデルの仮定のもとで2値分類に拡張可能であり、最良の線形分類器の誤差を推定する部分線形サンプル複雑度を達成する。
• 理論的下界により、非等方的状況では $o(d)$ のサンプル数では、純粋なノイズと信号を区別できないことが示された。
• 本手法は任意のラベル分布に対してロバストであり、先行研究とは異なり、ラベルが線形関数＋独立ノイズであると仮定する必要がない。