[論文レビュー] More data speeds up training time in learning halfspaces over sparse vectors

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|Nov 10, 2013

Machine Learning and Algorithms参考文献 13被引用数 37

ひとこと要約

この論文は、自然な教師あり学習問題における過剰なデータによる計算速度向上を、初めて形式的に確立した。具体的には、 \{-1,1,0\}^n 上の3スパースベクトルにおけるアグノスティックPAC学習の半空間学習である。広く信じられている仮定である、ランダム3CNF式の反証が難しいという仮定のもとで、O(n/ε²)の例数では効率的なアルゴリズムが存在しないことを証明した。一方、新しいアルゴリズムにより、Õ(n²/ε²)の例数で効率的な学習が達成され、形式的なサンプル-計算トレードオフが示された。

ABSTRACT

The increased availability of data in recent years has led several authors to ask whether it is possible to use data as a {\em computational} resource. That is, if more data is available, beyond the sample complexity limit, is it possible to use the extra examples to speed up the computation time required to perform the learning task? We give the first positive answer to this question for a {\em natural supervised learning problem} --- we consider agnostic PAC learning of halfspaces over $3$-sparse vectors in $\{-1,1,0\}^n$. This class is inefficiently learnable using $O\left(n/ε^2 ight)$ examples. Our main contribution is a novel, non-cryptographic, methodology for establishing computational-statistical gaps, which allows us to show that, under a widely believed assumption that refuting random $\mathrm{3CNF}$ formulas is hard, it is impossible to efficiently learn this class using only $O\left(n/ε^2 ight)$ examples. We further show that under stronger hardness assumptions, even $O\left(n^{1.499}/ε^2 ight)$ examples do not suffice. On the other hand, we show a new algorithm that learns this class efficiently using $ ildeΩ\left(n^2/ε^2 ight)$ examples. This formally establishes the tradeoff between sample and computational complexity for a natural supervised learning problem.

研究の動機と目的

• 過剰なデータ（情報理論的サンプル複雑性を上回るデータ）が、自然な教師あり学習問題において訓練時間を明示的に短縮できるかを調査すること。
• 特にk=3の場合に、kスパースベクトル上の半空間のアグノスティックPAC学習における計算的・統計的トレードオフを解明すること。
• 学習問題における計算的・統計的ギャップを、暗号的プリミティブに依存せずに確立する新しい非暗号的手法を開発すること。
• 3スパース半空間の効率的学習のための、タイトな上界と下界をサンプル複雑性に関して提供すること。

提案手法

• 著者らは、暗号的プリミティブに依存しない計算的・統計的トレードオフを確立するための新技術を導入した。
• 学習問題を、ランダム3CNF式の反証の難易度に還元し、広く信じられている複雑性理論的仮定を活用した。
• 3スパース半空間を、Õ(n²/ε²)の例数で効率的に学習できる新しいアルゴリズムを設計した。これは、標準的なO(n/ε²)のサンプルバウンドを改善している。
• 不正な学習（improper learning）を用い、仮説が元のクラスの外にあることを許容することで、効率的学習のための柔軟性を高めた。
• 下界の証明には、3MAJ式の分布を構築し、ランダムな割り当てと満たす割り当ての下での誤差率を分析した。
• チェルノフ不等式と集中不等式を用いて、ランダムな例が高誤差を生じることを示し、満たす割り当てが低誤差を生じることを示し、入力を「通常の」または「例外的」に分類可能であることを可能にした。

実験結果

リサーチクエスチョン

• RQ1 過剰なデータが、自然な教師あり学習問題において訓練時間を明示的に短縮できるか？
• RQ2 3スパースベクトル上の半空間学習において、より多くのデータがより速い学習を可能にする計算的・統計的トレードオフが存在するか？
• RQ3 このようなトレードオフを、暗号的仮定や還元に依存せずに確立できるか？
• RQ4 標準的な複雑性仮定のもとで、3スパース半空間の効率的学習のための最もタイトなサンプル複雑性は何か？
• RQ5 3スパース半空間学習の下界と上界のギャップを埋められるか？

主な発見

• ランダム3CNF式の反証が難しいという仮定のもとで、O(n/ε²)の例数での3スパース半空間の学習には、効率的なアルゴリズムが存在しない。
• O(n^{1.499}/ε²)の例数でも、より強い難易度仮定のもとでは、効率的学習は不可能である。
• 新しい効率的アルゴリズムが提示され、Õ(n²/ε²)の例数で3スパース半空間を学習可能であり、過剰なデータによる明示的高速化を達成した。
• この論文は、教師あり学習における計算的・統計的トレードオフを、非暗号的手段で初めて形式的に証明した。
• 2スパース半空間の学習の上界はO(n log³n / ε²)、3スパース半空間の学習の上界はO(n² log³n / ε²)であり、両方とも効率的である。
• 著者らは、3スパース半空間がÕ(n^{1.5}/ε²)の例数で効率的に学習可能であると予想しており、よりタイトなバウンドの可能性を示唆している。