[論文レビュー] Approximating the Number of Relevant Variables in a Parity Implies Proper Learning

Arnab Bhattacharyya, Ameet Gadekar+1 more|arXiv (Cornell University)|Feb 18, 2015

Machine Learning and Algorithms参考文献 15被引用数 3

ひとこと要約

本稿は、ノイズなしの誤り許容モデルにおけるk-パリティの学習のための新規アルゴリズムを提示し、実行時間の指数的改善を達成した。実行時間は $inom{t}{k}$ から $e^{-k/4.01} inom{t}{k}$ に短縮されたが、同じサンプル複雑度を維持した。さらに、ノイズなしでのk-パリティの効率的学習が、分類ノイズ下での効率的学習を示唆することを示し、ノイズ率が $f(n)$ と $\alpha$ に依存することを活用して、小さなノイズ率における $inom{n}{k/2}$ の実行時間の障壁を打ち破った。主な貢献は、ノイズありk-LPNからノイズなし学習への一般化された還元であり、ノイズが十分に小さい場合には、$inom{n}{k/2}$ 未満の時間で動作するアルゴリズムを可能にした。

ABSTRACT

Consider the model where we can access a parity function through random uniform labeled examples in the presence of random classification noise. In this paper, we show that approximating the number of relevant variables in the parity function is as hard as properly learning parities. More specifically, let γ:ℝ^+ → ℝ^+, where γ(x) ≥ x, be any strictly increasing function. In our first result, we show that from any polynomial-time algorithm that returns a γ-approximation, D (i.e., γ^{-1}(d(f)) ≤ D ≤ γ(d(f))), of the number of relevant variables d(f) for any parity f, we can, in polynomial time, construct a solution to the long-standing open problem of polynomial-time learning k(n)-sparse parities (parities with k(n) ≤ n relevant variables), where k(n) = ω_n(1). In our second result, we show that from any T(n)-time algorithm that, for any parity f, returns a γ-approximation of the number of relevant variables d(f) of f, we can, in polynomial time, construct a poly(Γ(n))T(Γ(n)²)-time algorithm that properly learns parities, where Γ(x) = γ(γ(x)). If T(Γ(n)²) = exp({o(n/log n)}), this would resolve another long-standing open problem of properly learning parities in the presence of random classification noise in time exp(o(n/log n)).

研究の動機と目的

• オンラインの誤り許容モデルにおけるk-パリティの学習の時間計算量を改善しつつ、サンプル効率を維持すること。
• 分類ノイズ下でのk-パリティの学習を、ノイズなしk-パリティの学習へ一般化する還元を確立すること。
• ノイズ率 $\eta$ が十分に小さい場合に、k-LPNにおける $inom{n}{k/2}$ の実行時間の障壁を打ち破れることを示すこと。
• ノイズなし学習への還元を活用して、敵対的ノイズの設定へのk-LPNの既知の結果を拡張すること。

提案手法

• 隠れたkスパースベクトルがそのいずれかの部分空間に含まれる不変性を保つために、アフィン部分空間の族 $\mathcal{S}$ を使用する。
• 各予測誤差の後で、これらの部分空間のサイズを維持・更新し、1回の誤差ごとにサイズを少なくとも2倍に削減する。
• 各クエリにおける部分空間のサイズを計算するために、$\ell = (1+o(1))kn/t$ 個の基底ベクトルを用いたガウスの消去法を適用し、効率的な実行時間解析を可能にする。
• ノイズありk-LPNからノイズなし学習への還元を適用：ランダムな例のサブセットのラベルを反転してノイズをシミュレートし、汚染されたセットに対してノイズなし学習者を実行する。
• チェルノフの不等式とバイナリエントロピー $H(p)$ を用いて、正しい仮説 $x_T$ がすべての候補仮説の中から回復される確率を分析する。
• 信頼度パrameter $\delta/2$ を用いた還元を適用し、$O(\log(1/\delta))$ 回の繰り返しによって成功率を強化することで、高確率での正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 誤り許容モデルにおけるk-パリティの学習の実行時間を、$inom{t}{k}$ を超える範囲で改善しつつ、サンプル複雑度を維持できるか？
• RQ2 k-パリティの効率的ノイズなし学習は、分類ノイズ下での効率的学習を示唆するか？
• RQ3 ノイズ率 $\eta$ が $n$ と $k$ の関数である場合に、k-LPNにおける $inom{n}{k/2}$ の実行時間の障壁を打ち破れるか？
• RQ4 効率を保ちつつ、ノイズありk-LPNからノイズなし学習への一般化された還元は存在するか？

主な発見

• 提案されたアルゴリズムは、$e^{-k/4.01} \binom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$ の実行時間を達成し、以前の $inom{t}{k} \cdot \text{poly}(n) \cdot \log(1/\delta)$ よりも $ olimits\exp(k)$ 要因の高速化を達成した。
• $t = n/f(n)$ で $f(n) \ll n/\log \log n$ の場合、アルゴリズムは $O(k \cdot f(n)^\alpha)$ 個のサンプルを用い、$\eta = o(1/((f(n))^\alpha \log n))$ のとき、$e^{-k/4.01 + o(k)} \binom{n}{k}^{1-\alpha} \cdot \text{poly}(n)$ の時間で実行される。
• ノイズありk-LPNからノイズなし学習への還元により、実行時間は $\binom{n}{k/2}^{1+O(H(1.5\eta))}$ に、サンプル複雑度は $O(k \log n)$ に低下し、以前の $\binom{n}{k/2}^{1+4\eta^2+o(1)}$ よりもサンプル複雑度で改善された。
• ノイズ率 $\eta$ が十分に小さい場合、特に $\eta = o(1/((f(n))^\alpha \log n))$ で $\alpha \in [1/2, 1)$ のとき、$k$-パリティにおける $inom{n}{k/2}$ の障壁は打ち破られる。
• 還元は、ラベルの破損率が $\eta < 1/3$ である限り、敵対的ノイズに対して頑健であり、同じフレームワークを用いて、敵対的設定への結果の拡張が可能である。