[論文レビュー] Learning Low-Density Separators

Shai Ben-David, Tyler Lu+2 more|ArXiv.org|May 19, 2008

Machine Learning and Algorithms参考文献 13被引用数 11

ひとこと要約

本稿は、R^d 上の未知の連続確率分布に対して、最小密度の同次超平面分離子を学習する、まったく新しい非教師あり学習問題を提示する。2つのアルゴリズム的枠組み—Soft-Margin と Hard-Margin—を提案し、広範な分布クラスに対してそれらの普遍的整合性を証明する一方で、いかなるアルゴリズムでもすべての分布に対して一様収束率を達成できないことを示している。

ABSTRACT

We define a novel, basic, unsupervised learning problem - learning the lowest density homogeneous hyperplane separator of an unknown probability distribution. This task is relevant to several problems in machine learning, such as semi-supervised learning and clustering stability. We investigate the question of existence of a universally consistent algorithm for this problem. We propose two natural learning paradigms and prove that, on input unlabeled random samples generated by any member of a rich family of distributions, they are guaranteed to converge to the optimal separator for that distribution. We complement this result by showing that no learning algorithm for our task can achieve uniform learning rates (that are independent of the data generating distribution).

研究の動機と目的

• 未知の確率分布の最低密度の同次超平面分離子を特定する、新しい非教師あり学習問題を定義・形式化すること。
• 連続分布から得られる有限 i.i.d. サンプルから、このような分離子を学習する理論的妥当性を調査すること。
• 自然なアルゴリズム的枠組みのもとで、普遍的整合性（最適分離子への漸近的収束）が達成可能かどうかを評価すること。
• このタスクに対して、データ生成分布に依存しない一様学習レート（一様収束率）が達成可能かどうかを特定すること。
• 半教師あり学習およびクラスタリング安定性における低密度分離子の理論的基盤を確立すること。

提案手法

• 学習タスクを、元の分布の密度を最小化する原点を通る同次超平面を見つける問題として形式化する。
• Soft-Margin アルゴリズムを提案し、そのマージン内での経験的重みが最小となる超平面を選択する。マージンの大きさはサンプルサイズに依存する。
• Hard-Margin アルゴリズムを提案し、最近接データポイントまでの距離を最大にする超平面（最大マージン）を選択する。
• パラメトリックでない、分布に依存しないアプローチを採用し、データ分布が連続密度関数を持つことのみを仮定する。
• 特に1次元の場合に、低密度領域の標本誤差確率に関する確率的バウンドを用いて整合性を分析する。
• 対称性と集中度の議論を適用し、2つの対称的分布からの標本が低密度領域を避ける場合、それらを信頼性高く区別できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 有限 i.i.d. サンプルから未知の連続分布をもつ確率分布に対して、学習アルゴリズムが一貫して最低密度の同次超平面分離子を特定できるか？
• RQ2 この問題に対して、豊富な分布族全体にわたって普遍的整合性を保証するアルゴリズム的枠組みは存在するか？
• RQ3 この学習タスクに対して、データ生成分布に依存しない一様収束率（一様学習レート）を達成することは可能か？
• RQ4 低密度分離子の構造は、半教師あり学習やクラスタリング安定性といった実用的問題とどのように関連するか？
• RQ5 1次元を超えた高次元ユークリッド空間において、ハードマージンアルゴリズムの整合性は拡張可能か？

主な発見

• Soft-Margin および Hard-Margin アルゴリズムは、R^d 上の連続確率分布の豊富なクラスにおいて、低密度分離子の学習問題に対して普遍的整合性を示す。
• 1次元の場合、本稿ではサンプルサイズが増加するにつれて、両アルゴリズムが最適分離子に確率1に収束することを証明している。
• 本稿では根本的な否定的結果を確立している：この家族に属するすべての分布に対して、有限標本に基づくアルゴリズムが一様学習レートを達成することは不可能である。
• 任意の δ > 0 および十分に大きな n に対して、標本サイズ m が低密度領域に交差しない確率が 1−δ を上回るような分布（例：対称的な V 字型密度）が存在し、その場合、誤差が 1/2 より小さい区別は不可能である。
• 分布 f と g（互いに反転対称）の間の対称性が、低密度領域を避ける標本の不確かさを引き起こし、一様レートの不可能性を証明する。
• 本結果は、半教師あり学習における一般的なヒューリスティクス（例：未ラベルデータ上でマージンを最大化する、またはスパースな分離超平面を求める）の理論的裏付けを提供する。