[論文レビュー] Binary Classification from Positive-Confidence Data

Takashi Ishida, Gang Niu+1 more|arXiv (Cornell University)|Oct 19, 2017

Anomaly Detection Techniques and Applications参考文献 39被引用数 23

ひとこと要約

この論文は、負例や未ラベルデータを必要とせず、信頼度スコアを伴う正例データのみを用いて判別的分類器を学習する、新しい二値分類フレームワークであるPositive-Confidence (Pconf)分類を提案する。正例信頼度データのみを用いて分類リスクを再定式化することで、一貫性のある経験的リスク最小化が可能となり、深層ニューラルネットワークを用いたFashion-MNISTおよびCIFAR-10における実験で、完全教師あり学習と同等の性能を達成した。

ABSTRACT

Can we learn a binary classifier from only positive data, without any negative data or unlabeled data? We show that if one can equip positive data with confidence (positive-confidence), one can successfully learn a binary classifier, which we name positive-confidence (Pconf) classification. Our work is related to one-class classification which is aimed at "describing" the positive class by clustering-related methods, but one-class classification does not have the ability to tune hyper-parameters and their aim is not on "discriminating" positive and negative classes. For the Pconf classification problem, we provide a simple empirical risk minimization framework that is model-independent and optimization-independent. We theoretically establish the consistency and an estimation error bound, and demonstrate the usefulness of the proposed method for training deep neural networks through experiments.

研究の動機と目的

• 負例や未ラベルデータにアクセスできない状況下で、信頼度スコアを伴う正例データのみから二値分類を実現する課題に対処すること。
• モデルや最適化手法に依存しない弱い監視下での判別的分類器の学習フレームワークを構築すること。
• 提案手法の理論的一貫性と推定誤差の境界を確立すること。
• 線形モデルおよび深層ニューラルネットワークを用いた実験を通じて、実用的有効性を示すこと。
• クラス事前確率推定の困難さを回避するために信頼度を活用することで、one-class分類やPU分類の限界を克服すること。

提案手法

• 正例信頼度データにのみ依存する再定式化に基づき、分類リスクの不偏推定量を用いたリスク最小化フレームワークを構築する。
• 信頼度スコアをクラス事前確率および条件付き確率の代理として活用し、負例データが存在しない状況でも推定が可能となる。
• モデルに依存せず、最適化手法に依存しないアプローチであり、線形パラメータ関数型モデルや深層ニューラルネットワークなど多様なモデルに適用可能である。
• 実装には、標準的な設定を用いたガウスカーネルモデルと畳み込みニューラルネットワークを採用した。
• PU学習における主要な課題であるクラス事前確率の推定を回避するため、この情報を信頼度スコアに暗黙的に埋め込む。
• 理論的分析により、推定量の一貫性と、やや弱い正則性条件の下での有限標本推定誤差境界を確立した。

実験結果

リサーチクエスチョン

• RQ1 負例や未ラベルデータが一切存在しない状況下で、信頼度スコアを伴う正例データのみから効果的に二値分類器を学習できるか？
• RQ2 正例データの信頼度スコアをどのように活用すれば、一貫性があり一般化可能な分類器を構築できるか？
• RQ3 このような手法の理論的一般化性能はどの程度で、既存の弱教師あり学習手法と比較してどうなるか？
• RQ4 提案手法は、実世界のベンチマークにおいて完全教師あり学習に近い性能を達成できるか？
• RQ5 識別性能およびハイパーパrameterチューニングの観点から、one-class分類やPU分類と比較して、本手法はどのように異なるか？

主な発見

• Fashion-MNISTデータセットでは、Tシャツ対パンツ分類においてPconf分類が平均92.14% ± 4.06%の精度を達成し、重み付き分類ベースライン（85.30% ± 9.07%）および自己符号化器ベースの手法（71.06% ± 1.00%）を上回った。
• Tシャツ対セーター分類では、Pconf分類が96.00% ± 0.29%を達成し、重み付きベースライン（96.08% ± 1.05%）と同等またはそれを上回り、自己符号化器手法（70.27% ± 1.22%）を著しく上回った。
• CIFAR-10では、飛行機対犬分類においてPconf分類が89.91% ± 0.85%の精度を示し、最良のベースライン（89.60% ± 0.92%）と同等であり、自己符号化器手法（62.64% ± 0.63%）を著しく上回った。
• 複数の設定において、Pconf分類は完全教師あり学習の性能と同等またはそれを上回った。特にTシャツ対コート分類では98.12% ± 0.33%（Pconf）対98.44% ± 0.13%（完全教師あり）という結果を示した。
• 本手法は、多様な負例の選択に対しても一貫した性能向上を示し、線形モデルおよび深層学習の両設定で優れた一般化性能を発揮した。
• 理論的分析により、推定量の一貫性が確認され、有限標本推定誤差境界が提供され、手法の統計的信頼性が裏付けられた。