[論文レビュー] Learning DNF Expressions from Fourier Spectrum

Vitaly Feldman|arXiv (Cornell University)|Mar 3, 2012

Machine Learning and Algorithms参考文献 28被引用数 7

ひとこと要約

本稿では、積分布下での単調な DNF 表現の学習のための新規なフーリエベースのアルゴリズムを提示する。この手法は、関数の『重い』低次のフーリエ係数を用いて関数を近似することで、従来の手法を単純化し、$\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ の実行時間を得る。Servedio (2004) の境界から余分な $\log(1/\epsilon)$ 要因を排除することで改善され、$2^{\sqrt{\log n}}$ 項の単調な DNF を多項式時間で学習可能であることを示している。

ABSTRACT

Since its introduction by Valiant in 1984, PAC learning of DNF expressions remains one of the central problems in learning theory. We consider this problem in the setting where the underlying distribution is uniform, or more generally, a product distribution. Kalai, Samorodnitsky and Teng (2009) showed that in this setting a DNF expression can be efficiently approximated from its "heavy" low-degree Fourier coefficients alone. This is in contrast to previous approaches where boosting was used and thus Fourier coefficients of the target function modified by various distributions were needed. This property is crucial for learning of DNF expressions over smoothed product distributions, a learning model introduced by Kalai et al. (2009) and inspired by the seminal smoothed analysis model of Spielman and Teng (2001). We introduce a new approach to learning (or approximating) a polynomial threshold functions which is based on creating a function with range [-1,1] that approximately agrees with the unknown function on low-degree Fourier coefficients. We then describe conditions under which this is sufficient for learning polynomial threshold functions. Our approach yields a new, simple algorithm for approximating any polynomial-size DNF expression from its "heavy" low-degree Fourier coefficients alone. Our algorithm greatly simplifies the proof of learnability of DNF expressions over smoothed product distributions. We also describe an application of our algorithm to learning monotone DNF expressions over product distributions. Building on the work of Servedio (2001), we give an algorithm that runs in time $\poly((s \cdot \log{(s/\eps)})^{\log{(s/\eps)}}, n)$, where $s$ is the size of the target DNF expression and $\eps$ is the accuracy. This improves on $\poly((s \cdot \log{(ns/\eps)})^{\log{(s/\eps)} \cdot \log{(1/\eps)}}, n)$ bound of Servedio (2001).

研究の動機と目的

• 積分布下での単調な DNF 表現の PAC 学習のための、より単純で効率的なアルゴリズムの開発。
• 従来の研究で用いられたメンバーーシップクエリやブースティング技術の必要性を排除すること。
• Servedio (2004) の境界と比較して、特に指数部の $\log(1/\epsilon)$ 要因を除去することで、より良い実行時間の境界を達成すること。
• 滑らかな積分布への応用を拡張し、多項式閾値関数の学習のための統一的な枠組みを提供すること。
• 本アルゴリズムにより、$2^{\sqrt{\log n}}$-項の単調な DNF が多項式時間で学習可能であることを示すこと。

提案手法

• 関数 $f$ の低次のフーリエ係数において、$[-1,1]$ の範囲を持つ有界関数 $g$ を構築し、$f$ を近似する。
• 2段階のプロセスを用いる：まず $\gamma^2/3$ の精度で影響力のある変数を影響度推定により特定し、次に低次のフーリエ近似をこれらの変数に制限する。
• 影響力のある変数の集合 $M$ に対して低次のフーリエ近似アルゴリズムを適用し、$\|\hat{f}(B_d) - \tilde{f}(B_d)\|_\infty \leq \gamma$ を満たすようにする。
• PTFapprox アルゴリズムを用いて $g$ を構築し、$\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty \leq 5\gamma$ を満たすようにし、$L_1$ 誤差を小さくする。
• 不等式 $\mathbf{E}[|f - g|] \leq (2s+1)\|\hat{f}(B_d) - \hat{g}(B_d)\|_\infty + 4\epsilon'$ を利用して、$\Pr[\text{sign}(g) \neq f] \leq \epsilon$ を保証する。
• 影響力のある変数は高々 $s \cdot \log(3s/\gamma^2)$ 個であることを証明し、探索空間を制限することで計算を効率化する。

実験結果

リサーチクエスチョン

• RQ1 メンバーーシップクエリやブースティングを一切用いずに、重い低次のフーリエ係数のみを用いて、単調な DNF 表現を効率的に学習できるか？
• RQ2 Servedio の (2004) アルゴリズムの実行時間を、指数部の $\log(1/\epsilon)$ 要因を除去することで改善できるか？
• RQ3 積分布下で、$2^{\sqrt{\log n}}$-項の単調な DNF を多項式時間で学習できるか？
• RQ4 ランダムな例から変数の影響力をどのように推定し、非影響的な変数を効率的に除外できるか？
• RQ5 フーリエベースのアプローチを滑らかな積分布や他の多項式閾値関数へ一般化できるか？

主な発見

• 提案されたアルゴリズムは、$\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ の実行時間を達成し、Servedio の $\text{poly}((s \cdot \log(ns/\epsilon))^{\log(s/\epsilon) \cdot \log(1/\epsilon)}, n)$ の境界から指数部の $\log(1/\epsilon)$ 要因を除去することで改善されている。
• 本アルゴリズムは、$c$-有界積分布下で、$s$-項の単調な DNF 表現を精度 $\epsilon$ で、時間 $\tilde{O}(n \cdot (s \cdot \log(s/\epsilon))^{O(\log(s/\epsilon))})$ で学習可能である。
• 特に $s/\epsilon = 2^{\sqrt{\log n}}$ の場合、アルゴリズムは多項式時間で実行され、$2^{\sqrt{\log n}}$-項の単調な DNF が多項式時間で学習可能であることを示している。
• ブースティングやメンバーーシップクエリを回避し、フーリエ係数推定と変数のプルーニングに依存するため、従来の手法よりも単純化されている。
• 本アルゴリズムは、DNF に限らず、広範な多項式閾値関数のクラスを学習可能に一般化できる。
• 変数の影響力はランダムな例から推定され、影響力が $2\gamma^2/3$ 未満の変数はプルーニングされ、結果として高々 $s \cdot \log(3s/\gamma^2)$ 個の影響力のある変数が残存する。