[論文レビュー] Classification from Pairwise Similarity and Unlabeled Data

Han Bao, Gang Niu+1 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Data Classification参考文献 43被引用数 13

ひとこと要約

本稿では、明示的なラベルを一切用いずに、ペアワイズに類似する（S）データとラベルなし（U）データのみを用いて二値分類器を学習する弱教師付き学習手法、SU分類を提案する。この手法は、最適なパrametric収束速度を達成する不偏な経験的リスク推定器を確立し、弱い条件下でも帰納的で、未学習のサンプルに対する予測が可能であり、クラス同定が可能となる。実世界のデータを用いた実験により有効性が検証された。

ABSTRACT

Supervised learning needs a huge amount of labeled data, which can be a big bottleneck under the situation where there is a privacy concern or labeling cost is high. To overcome this problem, we propose a new weakly-supervised learning setting where only similar (S) data pairs (two examples belong to the same class) and unlabeled (U) data points are needed instead of fully labeled data, which is called SU classification. We show that an unbiased estimator of the classification risk can be obtained only from SU data, and the estimation error of its empirical risk minimizer achieves the optimal parametric convergence rate. Finally, we demonstrate the effectiveness of the proposed method through experiments.

研究の動機と目的

• 完全にラベル付けされたデータに依存するのを減らすことにより、教師あり学習におけるラベル付けコストの高さとプライバシー懸念に取り組む。
• ペアワイズに類似する（S）データとラベルなし（U）データのみを用いる弱教師付き学習フレームワーク、すなわちSU分類を構築する。
• この手法が、未学習データへの予測が可能な帰納的分類器を生成することを保証する。これは、一般的な半教師付きクラスタリングとは対照的である。
• 推定誤差が最適なパrametric収束速度に達することを示す理論的一般化バインディングを確立する。
• 特定の条件下で、正例クラスと負例クラスを区別できるクラス同定を可能にする。これは、感受性の高いトピックにおいて有用である。

提案手法

• SペアとUポイントのみを用いたSU分類のための経験的リスク最小化フレームワークを提案し、分類リスクの不偏推定器を導出する。
• SデータとUデータの同時分布に基づく代替リスク関数を定義することで、明示的なラベルなしに推定が可能となる。
• Lipschitz連続な損失関数を有する線形パラメータモデルを用いることで、特定の条件下で目的関数が凸となるように保証する。
• Talagrandの不等式とRademacher複雑度を用いて一般化誤差をバインドし、SおよびUデータの構造を活用する。
• SデータとUデータからの成分に分解されるリスク推定器を導出し、それぞれに対して独立した集中不等式を導出する。
• Sデータにおけるクラス不均衡を補正するための再重み付け機構を用いることで、正例クラスがまれな場合でも一貫した推定が可能となる。

実験結果

リサーチクエスチョン

• RQ1 明示的なラベル例が一切ない状況下で、ペアワイズに類似するデータとラベルなしデータのみを用いて二値分類器を効果的に学習できるか？
• RQ2 提案されたSU分類手法が推定誤差に対して最適なパrametric収束速度を達成するか？
• RQ3 この手法が、未学習のテストデータに一般化可能な帰納的分類器を生成できるか？
• RQ4 どのような条件下でSU分類は、どちらのクラスが正例かを同定できるか？
• RQ5 標準的な教師あり学習およびPU分類のベースラインと比較して、実際の応用においてどのように性能を発揮するか？

主な発見

• 提案されたSU分類手法は、推定誤差に対して最適なパrametric収束速度を達成しており、教師あり学習における最良の可能なレートに一致する。
• SデータとUデータのみから構築された分類リスクの不偏推定器が導出され、明示的なラベルなしに一貫した学習が可能となる。
• 帰納的分類器を用いることで、未学習データへの予測が可能であり、これは無教師クラスタリング手法とは明確に異なる。
• 理論的解析により、正例クラスがまれな場合でも推定誤差が最適なレートに収束することが確認された。
• 実験結果により、本手法が高コストなラベル付けやプライバシー制約のある状況でも実用的に有効であることが示された。
• 弱い条件下でも、正例クラスと負例クラスを区別できるクラス同定が可能である。