[論文レビュー] Using More Data to Speed-up Training Time

Shai Shalev‐Shwartz, Ohad Shamir+1 more|arXiv (Cornell University)|Jun 6, 2011

Machine Learning and Algorithms参考文献 10被引用数 5

ひとこと要約

この論文は、訓練データを増やすことで学習アルゴリズムの実行時間を指数関数的に短縮できることを調査し、より効率的な仮説クラスを可能にすることで、暗号的仮定の下で、サンプルサイズと実行時間の間で逆数の依存関係が成立することを示している。また、新たなアガンスティック学習の構成と自然な例を提示しており、より大きなデータセットにより、凸最適化に基づく学習が高速化されることを示しているが、下界の一致は未解決のままである。

ABSTRACT

In many recent applications, data is plentiful. By now, we have a rather clear understanding of how more data can be used to improve the accuracy of learning algorithms. Recently, there has been a growing interest in understanding how more data can be leveraged to reduce the required training runtime. In this paper, we study the runtime of learning as a function of the number of available training examples, and underscore the main high-level techniques. We provide some initial positive results showing that the runtime can decrease exponentially while only requiring a polynomial growth of the number of examples, and spell-out several interesting open problems.

研究の動機と目的

• 機械学習におけるサンプル複雑度と計算効率のトレードオフを形式化すること。
• より大きな訓練データセットが、仮説クラスの緩和を通じて、指数関数的に高速化された学習アルゴリズムを可能にできることを示すこと。
• 完全な仮説の仮定に依存しない、アガンスティック学習設定においてデータサイズに対する逆数の実行時間依存関係を示す、証明可能な例を提供すること。
• より多くのデータが凸最適化を通じて著しく高速化される、自然な学習問題を特定すること。
• このような実行時間の改善に関する下界を示す上での未解決問題を強調すること。

提案手法

• 訓練時間と訓練例の数の関係を形式化するモデルを提案し、計算的・統計的トレードオフに焦点を当てる。
• 一方向置換の暗号的仮定を用いて、証明可能な逆数の実行時間依存関係を持つ合成的アガンスティック学習問題を構築する。
• 元のクラス H に対して ε 範囲内で近似する不正な仮説クラス H₁ を導入し、凸最適化と多項式時間の学習を可能にする。
• H を H₁ に埋め込むために、カーネルベースの写像 ψ 及びその逆写像を用いる。H₁ は線形関数から構成され、効率的な最適化が可能である。
• 実行時間とサンプル複雑度のトレードオフを分析し、H₁ は H に対する直接的な ERM と比較して指数関数的に少ない例数で学習可能であるが、依然として ε-近似を達成できることを示す。
• オンライン学習や非教師あり学習などの自然な問題へとフレームワークを拡張し、構造を注入するための探索技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練例の数を増やすことで、学習アルゴリズムの実行時間が指数関数的に短縮される可能性はあるか？
• RQ2 アガンスティック設定において、より大きなデータセットが仮説クラスの緩和を通じて、証明可能な高速化をもたらす学習問題を構築することは可能か？
• RQ3 完全な仮説が存在しない状況でも、より多くのデータが著しく高速化される自然な学習問題は何か？
• RQ4 学習アルゴリズムにおいて、データサイズと実行時間の間の逆数依存関係を達成するための必要な条件と技術は何か？
• RQ5 自然な学習問題における観察された実行時間の改善に対して、下界が一致するか？

主な発見

• 一方向置換の存在に基づき、訓練例の数が増えるにつれて実行時間が指数関数的に短縮される合成的アガンスティック学習問題が構築された。
• H を経由する仮説クラスの学習における実行時間は poly(exp(L log(L/ε))) に比例するが、元の H に対する ERM は exp(O(L²/ε² log(L/ε))) の時間を要する。
• H₁ のサンプル複雑度は poly(exp(L log(L/ε))) であり、H の L²/ε² に比べて指数関数的に大きいが、多項式時間での学習が可能である。
• 構築された仮説クラス H₁ は、すべての入力に対して H を ε 範囲内で近似しており、不正なクラスであるが、一般化性を保証している。
• オンライン学習や非教師あり学習における自然な例でも、実行時間の逆数依存関係が顕著に現れるが、下界はまだ証明されていない。
• 本論文は、このような実行時間の改善が自然な学習問題において証明的に必要であることを示すという主要な未解決問題を特定している。上界にとどまらず、下界の証明が求められる。