[論文レビュー] Sample and Computationally Efficient Learning Algorithms under S-Concave Distributions

Maria-Florina Balcan, Hongyang Zhang|arXiv (Cornell University)|Mar 22, 2017

Machine Learning and Algorithms被引用数 9

ひとこと要約

本稿は、t-分布やパレート分布を含む、対数凹型分布や太尾分布を一般化する広範なクラスであるs-凹型分布の下で、線形分類器および半空間の積分分類器に対する、サンプルおよび計算効率の良い学習アルゴリズムを導入する。著者らは、新しい凸幾何学的ツールを開発することで、不一致確率および係数に関する境界を確立し、これらの分布下でのマージンに基づく、不一致に基づく、および受動的アクティブな学習における先行研究の顕著な一般化を可能にする。

ABSTRACT

We provide new results for noise-tolerant and sample-efficient learning algorithms under $s$-concave distributions. The new class of $s$-concave distributions is a broad and natural generalization of log-concavity, and includes many important additional distributions, e.g., the Pareto distribution and $t$-distribution. This class has been studied in the context of efficient sampling, integration, and optimization, but much remains unknown about the geometry of this class of distributions and their applications in the context of learning. The challenge is that unlike the commonly used distributions in learning (uniform or more generally log-concave distributions), this broader class is not closed under the marginalization operator and many such distributions are fat-tailed. In this work, we introduce new convex geometry tools to study the properties of $s$-concave distributions and use these properties to provide bounds on quantities of interest to learning including the probability of disagreement between two halfspaces, disagreement outside a band, and the disagreement coefficient. We use these results to significantly generalize prior results for margin-based active learning, disagreement-based active learning, and passive learning of intersections of halfspaces. Our analysis of geometric properties of $s$-concave distributions might be of independent interest to optimization more broadly.

研究の動機と目的

• 対数凹型分布を超えて、より広範なs-凹型分布クラスへのノイズ耐性およびサンプル効率の良い学習アルゴリズムの拡張を図ること。
• s-凹型分布が周辺化に関して閉じていないこと、かつしばしば太尾を持つことによる、従来のアルゴリズム的仮定の複雑化という課題に対処すること。
• s-凹型分布の学習理論に関連する幾何的性質を分析するための新しい凸幾何学的ツールの開発。
• 既存のマージンに基づくアクティブ学習、不一致に基づくアクティブ学習、および半空間の積分の受動的学習結果を、s-凹型設定に一般化すること。
• s-凹型分布下でのタイトなサンプルおよびラベル複雑度の境界（下界を含む）を確立すること。

提案手法

• s < 0 に対して f(x)^s が凹型であるという性質により定義される、s-凹型分布の新クラスを導入。これは対数凹型分布を一般化する。
• s-凹型分布下での周辺化性質および超平面の不一致を分析するための、新しい凸幾何学的ツールを開発。
• 等方的s-凹型分布下で、二つの半空間の不一致確率および不一致係数に関する閉形式の境界を確立。
• これらの幾何的境界を用いて、アクティブおよび受動的学習アルゴリズムのサンプル複雑度およびラベル複雑度の保証を導出。
• 三つの新アルゴリズムを設計・分析：実現可能およびノイズあり設定下でのマージンに基づくアクティブ学習、およびs-凹型分布下での半空間の積分の学習。
• 濃度不等式および擬似次元の境界を活用し、提案手法の一般化および一貫性を証明。

実験結果

リサーチクエスチョン

• RQ1 t-分布やパレート分布を含む太尾分布を含む広範なs-凹型分布下で、どのように学習アルゴリズムをサンプルおよび計算効率の良いものにできるか？
• RQ2 不一致確率および不一致係数に対するタイトな境界を可能にする、s-凹型分布の根本的な幾何的性質は何か？
• RQ3 半空間のための既存のアクティブおよび受動的学習アルゴリズムは、s-凹型分布へどの程度一般化可能か？その結果として得られるサンプルおよびラベル複雑度の改善は何か？
• RQ4 s-凹型分布の幾何的性質は、対数凹型分布およびほぼ対数凹型分布のそれらと比較して、アルゴリズムの実行可能性および性能においてどのように異なるか？
• RQ5 s-凹型分布下での同次線形分離器の学習における情報理論的下界（サンプルおよびラベル複雑度）は何か？

主な発見

• m 個の変数に関する等方的s-凹型分布の周辺分布は、等方的 γ(s,m)-凹型である。これは周辺化に関して弱い閉包性を確立する。
• 任意の二つの単位ベクトル u および v に対して、不一致確率 Pr[sign(u·x) ≠ sign(v·x)] は f₁(s,n)θ(u,v) で下から抑えられる。ここで θ(u,v) はそれらの間の角度である。
• s-凹型分布下での不一致係数は f₃(s,n) で抑えられ、これによりアクティブ学習におけるより良い一般化境界が可能になる。
• s-凹型分布下での同次線形分離器の受動的PAC学習のサンプル複雑度は Ω(n log(f₁(s,n)/ε)) であり、対数要因を除いて既知の下界と一致する。
• s-凹型分布下でのアクティブ学習のラベル複雑度は Ω(log M_D(C,ε)) であり、このクラス下では改善が情報理論的に可能であることを示している。
• 提案されたアルゴリズムは、対数凹型およびほぼ対数凹型分布に対する先行研究の結果を一般化・改善するサンプルおよびラベル複雑度の境界を達成している。