[論文レビュー] Proper Learning, Helly Number, and an Optimal SVM Bound

Olivier Bousquet, Steve Hanneke+2 more|arXiv (Cornell University)|May 24, 2020

Machine Learning and Algorithms参考文献 34被引用数 7

ひとこと要約

この論文は、通常の経験的リスク最小化が要請する対数因子を除き、最適なPACサンプル複雑度を達成できる適切な学習アルゴリズムの存在を決定づける組合せ的パラメータとして、二重ヘリ数（dual Helly number）を同定する。本論文は、有界な二重ヘリ数が、最適なサンプル複雑度を達成する適切な学習者を有するクラスを特徴づけることを証明し、実現可能設定におけるSVMの最初の最適かつ計算的に効率的なPACバウンドを確立することで、長年の未解決問題を解決する：$Θ\left(\frac{n}{\varepsilon} + \frac{1}{\varepsilon}\log\frac{1}{\delta}\right)$。

ABSTRACT

The classical PAC sample complexity bounds are stated for any Empirical Risk Minimizer (ERM) and contain an extra logarithmic factor $\log(1/ε)$ which is known to be necessary for ERM in general. It has been recently shown by Hanneke (2016) that the optimal sample complexity of PAC learning for any VC class C is achieved by a particular improper learning algorithm, which outputs a specific majority-vote of hypotheses in C. This leaves the question of when this bound can be achieved by proper learning algorithms, which are restricted to always output a hypothesis from C. In this paper we aim to characterize the classes for which the optimal sample complexity can be achieved by a proper learning algorithm. We identify that these classes can be characterized by the dual Helly number, which is a combinatorial parameter that arises in discrete geometry and abstract convexity. In particular, under general conditions on C, we show that the dual Helly number is bounded if and only if there is a proper learner that obtains the optimal joint dependence on $ε$ and $δ$. As further implications of our techniques we resolve a long-standing open problem posed by Vapnik and Chervonenkis (1974) on the performance of the Support Vector Machine by proving that the sample complexity of SVM in the realizable case is $Θ((n/ε)+(1/ε)\log(1/δ))$, where $n$ is the dimension. This gives the first optimal PAC bound for Halfspaces achieved by a proper learning algorithm, and moreover is computationally efficient.

研究の動機と目的

• 経験的リスク最小化（ERM）の典型的な$\log(1/\varepsilon)$要因を除き、最適なPACサンプル複雑度を達成できる適切な学習アルゴリズムを有する概念クラスを特徴づけること。
• 離散幾何学の組合せ的パラメータである二重ヘリ数が、適切な学習のサンプル複雑度を決定づける役割を調査すること。
• 実現可能設定下での$\mathbb{R}^n$におけるサポートベクターマシン（SVM）のサンプル複雑度に関する長年の未解決問題を解明すること。
• 適切な学習が、$\varepsilon$ に対して最適な依存関係を達成できるのは、二重ヘリ数が有界である場合に限り、その条件を確立すること。

提案手法

• 著者らは、概念クラスの構造的性質としての二重ヘリ数を導入・分析し、最適なサンプル複雑度を達成する適切な学習者との関連を提示する。
• 概念クラス$\mathbb{C}$が、サンプル複雑度における最適な$\varepsilon$依存性を有する適切な学習者を有するための必要十分条件として、その二重ヘリ数が有界であることであることを証明する。
• 組合せ的条件が、適切な学習が$\log(1/\varepsilon)$ペナルティを回避できるかどうかを特徴づけるために、離散幾何学と抽象凸解析の道具を用いる。
• 本論文は、$\mathbb{R}^n$における半空間のクラスにそのフレームワークを適用し、このクラスにおける二重ヘリ数が有界であることを示す。
• 二重ヘリ数の分析と既知の一般化バウンドを組み合わせることで、実現可能設定下におけるSVMのサンプル複雑度を導出する。
• 得られたバウンドが最適かつ計算的に効率的であることが示され、実現可能設定における適切な学習の新しい基準を確立する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、適切な学習アルゴリズムが、通常の$\log(1/\varepsilon)$要因を除き、最適なPACサンプル複雑度を達成できるか？
• RQ2 二重ヘリ数は、適切な学習アルゴリズムのサンプル複雑度とどのように関係しているか？
• RQ3 実現可能設定下での$\mathbb{R}^n$におけるSVMの正確なサンプル複雑度は何か？
• RQ4 $\mathbb{R}^n$における半空間のための最適なサンプル複雑度は、適切な学習アルゴリズムによって達成可能か？

主な発見

• 二重ヘリ数が有界であることと、最適な$\varepsilon$依存性を有する適切な学習アルゴリズムが存在することは、同値である。
• 実現可能設定下での$\mathbb{R}^n$におけるSVMのサンプル複雑度は$\Theta\left(\frac{n}{\varepsilon} + \frac{1}{\varepsilon}\log\frac{1}{\delta}\right)$であり、これは最適かつ計算的に効率的である。
• これは、Vapnik（1974年）が提起した、実現可能設定下におけるSVMの性能に関する長年の未解決問題を解決する。
• 本研究は、$\mathbb{R}^n$における半空間に対して、適切な学習アルゴリズムによって達成された最初の最適なPACバウンドを確立する。
• 二重ヘリ数は、適切な学習が不適切な学習のサンプル複雑度を模倣できるかどうかを完全に組合せ的に特徴づける。
• 本フレームワークは広範に適用可能であり、有界な二重ヘリ数は、最適な適切な学習が達成可能であるための必要十分条件であることが示された。