[論文レビュー] Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data

Tomoya Sakai, Marthinus Christoffel du Plessis+2 more|arXiv (Cornell University)|May 23, 2016

Machine Learning and Data Classification参考文献 26被引用数 46

ひとこと要約

本稿では、正例・負例（PN）、正例・未ラベル（PU）、負例・未ラベル（NU）リスク推定を凸結合に統合する、新しい半教師あり分類手法PNU分類を提案する。ラベルなしデータを正則化ではなく直接リスク評価に活用することで、制限的な分布仮定を必要とせず、最適なパrametricレートで一般化誤差バウンドを改善し、分散を低減する。これにより、従来の手法よりも精度と効率性に優れた性能を達成する。

ABSTRACT

Most of the semi-supervised classification methods developed so far use unlabeled data for regularization purposes under particular distributional assumptions such as the cluster assumption. In contrast, recently developed methods of classification from positive and unlabeled data (PU classification) use unlabeled data for risk evaluation, i.e., label information is directly extracted from unlabeled data. In this paper, we extend PU classification to also incorporate negative data and propose a novel semi-supervised classification approach. We establish generalization error bounds for our novel methods and show that the bounds decrease with respect to the number of unlabeled data without the distributional assumptions that are required in existing semi-supervised classification methods. Through experiments, we demonstrate the usefulness of the proposed methods.

研究の動機と目的

• クラスタ仮定のような強い分布仮定を必要としない半教師あり分類手法の開発を目的とする。
• PU分類を拡張し、負例を統合することで、ラベルなしデータを活用した一般化の向上を図る。
• 従来の分布仮定に依存しない環境下での分散低減および一般化誤差バウンドの理論的分析を目的とする。
• 提案手法の精度および計算効率の優位性を、多様なデータセット上で実験的に検証することを目的とする。

提案手法

• PN、PU、NU分類からのリスク関数を凸結合することで、統一的なPNU分類フレームワークを構築する。
• PU分類からの不偏リスク推定器を用い、ラベルなしデータから直接ラベル情報を取り出すことで、正則化に基づく仮定を回避する。
• 一般化誤差バウンドの分析を実施し、ラベルありおよびラベルなしデータが増加するに従い、信頼項が最適なパラメトリックレートで減少することを示す。
• 提案されたリスク推定器の分散バウンドを導出し、無限に近いラベルなしデータが与えられた場合、標準的なPNリスクよりも分散がほとんど常に小さいことを証明する。
• 線形分類器と、二乗損失またはゼロ・オール・ワン損失関数を用いて手法を適用し、PNUリスクにおける5-foldクロスバリデーションによりハイパーパrameterを最適化する。
• エネルギー距離最小化を用いてクラス事前確率を推定し、事前確率が不明な状況下での実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習において、ラベルなしデータを正則化ではなくリスク評価に効果的に活用できるか？
• RQ2 PN、PU、NUリスク関数を統合することで、従来の分布仮定を必要としない一般化誤差バウンドの向上が達成できるか？
• RQ3 ラベルなしデータが増加するに従い、提案されたリスク推定器の分散は標準的なPN分類と比べてどのように変化するか？
• RQ4 提案手法は、既存の半教師あり手法よりも優れた精度および計算効率を達成できるか？

主な発見

• PNU分類は、バナナデータセット（WellSVMがクラス重複のため失敗した）を含め、すべてのデータセットで最良または同等の性能を達成した。
• 本手法は、データセット間で一貫した性能を示し、高重複状況下でも顕著な性能低下を示さなかった。
• PNU分類は計算時間において最も高速であり、特に二乗損失では他の手法を上回った。また、Places 205画像分類タスクでも優れた性能を示した。
• 分布仮定を必要とせず、正例、負例、ラベルなしサンプルの数に対して、一般化誤差バウンドが最適なパラメトリックレートで減少した。
• 無限に近いラベルなしデータが与えられた場合、提案されたリスク推定器の分散は、標準的なPNリスク推定器よりもほとんど常に小さかった。
• 実験結果により、半教師あり学習におけるPUベースのリスク推定が、多様なデータ分布に対して有望かつ頑健であることが確認された。