[論文レビュー] Learning convex polytopes with margin

Lee-Ad Gottlieb, Eran Kaufman+2 more|arXiv (Cornell University)|May 24, 2018

Machine Learning and Algorithms参考文献 27被引用数 6

ひとこと要約

本稿では、最適なポリトープに含まれる半空間の数を $ t $ とすると、$ t \log t $ 個程度の半空間の積として一貫性を持つポリトープを構築することにより、マージン付きの凸ポリトープを多項式時間で学習するアルゴリズムを提示する。この手法は、サンプル効率および実行時間効率を向上させるとともに、超平面を超えた幾何的一般化されたマージンの概念を導入・分析する。

ABSTRACT

We present an improved algorithm for properly learning convex polytopes in the realizable PAC setting from data with a margin. Our learning algorithm constructs a consistent polytope as an intersection of about $t \log t$ halfspaces with margins in time polynomial in $t$ (where $t$ is the number of halfspaces forming an optimal polytope). We also identify distinct generalizations of the notion of margin from hyperplanes to polytopes and investigate how they relate geometrically; this result may be of interest beyond the learning setting.

研究の動機と目的

• 実現可能なPAC設定においてマージン付きの凸ポリトープを、効率的かつ適切な学習アルゴリズムとして開発すること。
• マージン制約を維持したまま、ポリトープを表現するために必要な半空間の数を削減すること。
• 超平面からポリトープへとマージンの概念を一般化し、その幾何的意味を分析すること。
• 最適ポリトープのサイズ $ t $ に対して多項式時間・多項式サンプル複雑性を達成すること。

提案手法

• アルゴリズムは、学習データと一貫性を持つ $ O(t \log t) $ 個の半空間の積としてポリトープを構築する。
• 各半空間がマージンに寄与することを保証し、線形分離器におけるマージンの概念を多面体境界へと一般化する。
• 凸集合の幾何的・組合せ的性質を活用することで、$ t $ に対して多項式時間で構築が行われる。
• すべての半空間にわたってマージンを維持する一貫性のある仮説選択戦略を採用する。
• 距離境界からの距離やサポート関数に基づく測定など、ポリトープのための複数の幾何的マージン変種を導入・分析する。

実験結果

リサーチクエスチョン

• RQ1 最適サイズに比べて部分線形な数の半空間を用いて、マージン付きの凸ポリトープを効率的に学習する方法は何か？
• RQ2 超平面からポリトープに拡張する際、意味のある幾何的マージン一般化とは何か？
• RQ3 ポリトープの異なるマージン定義は幾何的にどのように関連し合い、学習性能にどのように影響を与えるか？
• RQ4 適切な学習を維持したまま、マージン付きポリトープの多項式時間学習が可能か？

主な発見

• アルゴリズムは、ナーブな手法と比較して顕著に少ない $ O(t \log t) $ 個の半空間を用いて一貫性を持つポリトープを構築する。
• アルゴリズムの実行時間は、最適ポリトープに含まれる半空間数 $ t $ に対して多項式的である。
• 本稿では、ポリトープのための複数の幾何的マージン一般化を同定・分析し、それらの関係を明らかにする。
• 提案されたマージン一般化は、超平面のマージンを越えたより豊かな幾何的理解を提供し、学習理論の範囲を越えて応用可能である。