[論文レビュー] On the Minimal Supervision for Training Any Binary Classifier from Only Unlabeled Data

Nan Lu, Gang Niu+2 more|arXiv (Cornell University)|Aug 31, 2018

Machine Learning and Data Classification被引用数 38

ひとこと要約

本稿では、異なるクラス事前分布を持つ2つのラベルなしデータセットを活用することで、線形から深層ネットワークまでを含む任意の二値分類器を、ラベルなしデータのみで学習する、新しいERMベースの手法を提案する。この手法は理論的に一貫性があり、2つのラベルなしデータセットからの学習において最先端の手法を上回ることを実験的に示している。

ABSTRACT

Empirical risk minimization (ERM), with proper loss function and regularization, is the common practice of supervised classification. In this paper, we study training arbitrary (from linear to deep) binary classifier from only unlabeled (U) data by ERM. We prove that it is impossible to estimate the risk of an arbitrary binary classifier in an unbiased manner given a single set of U data, but it becomes possible given two sets of U data with different class priors. These two facts answer a fundamental question---what the minimal supervision is for training any binary classifier from only U data. Following these findings, we propose an ERM-based learning method from two sets of U data, and then prove it is consistent. Experiments demonstrate the proposed method could train deep models and outperform state-of-the-art methods for learning from two sets of U data.

研究の動機と目的

• 任意の二値分類器を、ラベルなしデータのみで学習するために必要な最小限の監視を特定すること。
• 1つのラベルなしデータセットからのみでは、不偏なリスク推定が可能かどうかを調査すること。
• 異なるクラス分布を持つ2つのラベルなしデータセットを用いた、経験的リスク最小化に基づく一貫性のある学習手法を開発すること。
• 最小限の監視のもとで、深層モデルを完全にラベルなしデータから学習可能であることを実証し、その有効性を示すこと。

提案手法

• 本手法は、異なるクラス事前分布を持つ2つの独立したラベルなしデータセットを用い、不偏な経験的リスク推定を可能にする。
• 2つのラベルなしデータセット間の異なるクラス事前分布を考慮した、修正された経験的リスク最小化の目的関数を定式化する。
• 標準的な正則化および損失関数を用いるが、二重データセット設定に適合させることで一貫性を保証する。
• 理論的分析により、やや弱い仮定のもとで、本手法が一貫していることが証明されており、データサイズが増加するにつれて学習された分類器が最適解に収束することを意味する。
• 標準的な最適化手法を活用することで、深層ニューラルネットワークを含む任意のモデルと互換性がある。
• 本手法はラベルなしデータを一切必要とせず、2つのラベルなしデータセット間のクラス事前分布の統計的差異に依存する。

実験結果

リサーチクエスチョン

• RQ1 1つのラベルなしデータセットからのみでは、任意の二値分類器のリスクを不偏に推定することは可能か？
• RQ2 ラベルなしデータのみで二値分類器を学習するための一貫性のある学習手法を設計可能か？ もしそうであれば、必要な最小限の監視は何か？
• RQ3 異なるクラス事前分布を持つ2つのラベルなしデータセットを用いることで、ラベルなしで深層モデルの学習が有効に可能になるか？
• RQ4 提案手法は、既存の最先端手法と比較して、性能および一般化能力においてどのように異なるか？

主な発見

• 1つのラベルなしデータセットからのみでは、任意の二値分類器のリスクを不偏に推定することは理論的に不可能である。
• 異なるクラス事前分布を持つ2つのラベルなしデータセットが利用可能になると、不偏なリスク推定が可能になる。
• 提案されたERMベースの手法は、標準的な仮定のもとで、証明可能な一貫性を示しており、最適な分類器への収束を保証する。
• 実験により、本手法が深層モデルを効果的に学習でき、2つのラベルなしデータセットからの学習において最先端の手法を上回ることを示している。
• 本手法は、ラベルなしの例が一切ない状況でも、2つのデータセット間のクラス事前分布の統計的差異に依存して、強力な一般化性能を示している。