[論文レビュー] Generalization error bounds in semi-supervised classification under the cluster assumption

Philippe Rigollet|arXiv (Cornell University)|Apr 11, 2006

Machine Learning and Data Classification参考文献 37被引用数 109

ひとこと要約

本稿では、半教師付き分類におけるクラスタ仮説を数学的に厳密に定式化し、密度レベル集合推定に基づく手法を提案する。この手法は、未ラベル付きデータを活用することで、ラベル付きおよび未ラベル付きサンプル数の両方において高速な収束レートを達成する。主な貢献は、一般化誤差バウンドが $\tilde{O}(m^{-\frac{\bar{a}}{2}})$ および $\tilde{O}(n^{-1})$ のレートを示し、意思決定境界が低密度領域に位置する場合に性能が向上することを示している。

ABSTRACT

We consider semi-supervised classification when part of the available data is unlabeled. These unlabeled data can be useful for the classification problem when we make an assumption relating the behavior of the regression function to that of the marginal distribution. Seeger (2000) proposed the well-known "cluster assumption" as a reasonable one. We propose a mathematical formulation of this assumption and a method based on density level sets estimation that takes advantage of it to achieve fast rates of convergence both in the number of unlabeled examples and the number of labeled examples.

研究の動機と目的

• 半教師付き分類におけるクラスタ仮説を確率的表現で正式に定義すること。
• この仮説の下で未ラベル付きデータを活用して分類性能を向上させる手法を開発すること。
• 特に収束レートの観点から、未ラベル付きデータの利点を反映する一般化誤差バウンドを導出すること。
• 過剰リスクがクラスタ構造に影響を受ける部分に注目することで、過剰リスクを低減できることを示すこと。

提案手法

• 意思決定境界が低密度領域に位置することを要件とするクラスタ仮説の形式化を行い、クラスタが同質のラベルを持つというアイデアと整合させる。
• 未ラベル付きデータからクラスタを同定するために密度レベル集合推定を用い、レベル集合 $\Gamma = \{x : p(x) \geq \lambda\}$ がクラスタを定義する。
• 推定されたレベル集合 $\tilde{G}_m$ をもとに分類器 $\tilde{g}_{n,m}$ を構築し、各クラスタに一様なラベルを割り当てる。
• クラスタ構造に影響を受けるリスクの部分に注目するため、$\lambda$-しきい値付き過剰リスク $\mathcal{E}_\lambda(\tilde{g}_{n,m})$ を性能指標として用いる。
• Hoeffdingの不等式と濃度バウンドを用いて、真のレベル集合と推定されたレベル集合の乖離を制御し、$m$（未ラベル付き）および $n$（ラベル付き）サンプル数に基づく誤差バウンドを導出する。
• 密度 $p$ がレベル $\lambda$ で $\gamma$-指数条件を満たす場合に、レベル集合推定子の一貫性を示し、$\mathbb{E}_m[\mathrm{Leb}_d(\Gamma \triangle \tilde{G}_m)] = \widetilde{O}(m^{-\alpha})$ を得る。

実験結果

リサーチクエスチョン

• RQ1 クラスタ仮説を確率的表現で正式に定式化することで、半教師付き学習における未ラベル付きデータの使用を正当化できるか？
• RQ2 未ラベル付きデータは分類における一般化誤差をどの程度低減できるか、どのような条件下でか？
• RQ3 クラスタ仮説の下で未ラベル付きデータを用いる場合、過剰リスクの最適な収束レートは何か？
• RQ4 しきい値 $\lambda$ の選択が分類器の性能にどのように影響するか？
• RQ5 密度レベル集合推定は、クラスタ仮説の下で一貫性があり、高速収束する半教師付き分類手法を提供できるか？

主な発見

• $\lambda$-しきい値付き過剰リスク $\mathcal{E}_\lambda(\tilde{g}_{n,m})$ は $\widetilde{O}(m^{-\alpha}) + \widetilde{O}(n^{-1})$ でバウンドされ、ラベル付きおよび未ラベル付きサンプル数の両方において高速な収束を示している。
• 真のレベル集合と推定されたレベル集合の対称差の期待ルベーグ測度は $\mathbb{E}_m[\mathrm{Leb}_d(\Gamma \triangle \tilde{G}_m)] = \widetilde{O}(m^{-\alpha})$ を満たし、推定子の一貫性を示している。
• 密度 $p$ がレベル $\lambda$ で $\gamma$-指数条件を満たす場合、誤分類領域の期待測度のレートは $\widetilde{O}(m^{-\frac{\gamma a}{2}})$ となる。
• クラスタ推定の誤差確率のバウンドは $\mathbb{P}_m(D^c) = \widetilde{O}(m^{-\alpha})$ であり、未ラベル付きサンプル数の増加に伴い急速に減少する。
• 解析により、未ラベル付きデータによる性能向上は、全過剰リスクではなく、クラスタ構造に支配されるリスクの部分で最も顕著に現れることが示された。
• 本手法は、パラメトリック密度モデルに依存しないため、モデルの誤指定に対してもロバストである。多くの既存手法とは異なり、この手法は非パラメトリックである。