[論文レビュー] Collective Loss Function for Positive and Unlabeled Learning

Chenhao Xie, Qiao Cheng+3 more|arXiv (Cornell University)|May 6, 2020

Machine Learning and Data Classification参考文献 31被引用数 4

ひとこと要約

本稿では、不確かなラベルを含む未ラベルデータに起因するバイアスを是正するため、損失計算の前に予測を補正する、新しい集合的損失関数cPUを提案する。予測子レベルでの集合的補正を通じて理論的に損失関数を導出することで、ベンチマークおよび実世界のデータセットにおいて最先端の性能と頑健性を達成し、CIFAR-10では既存手法を1–4ポイント上回り、事前分布推定の誤差に対しても安定した結果を示す。

ABSTRACT

People learn to discriminate between classes without explicit exposure to negative examples. On the contrary, traditional machine learning algorithms often rely on negative examples, otherwise the model would be prone to collapse and always-true predictions. Therefore, it is crucial to design the learning objective which leads the model to converge and to perform predictions unbiasedly without explicit negative signals. In this paper, we propose a Collectively loss function to learn from only Positive and Unlabeled data (cPU). We theoretically elicit the loss function from the setting of PU learning. We perform intensive experiments on the benchmark and real-world datasets. The results show that cPU consistently outperforms the current state-of-the-art PU learning methods.

研究の動機と目的

• 未ラベルデータにおけるクラス不確実性に起因するリスク推定のバイアスという課題に対処すること。
• 特徴工学の干渉を最小限に抑えつつ、高いモデルの柔軟性を維持する方法を開発すること。
• 明示的なネガティブ例に依存せずに、意思決定境界のずれを是正する理論的根拠に基づいた頑健な損失関数を設計すること。
• 損失計算の前段階で予測子を集合的に是正することで、PU学習における一般化性能を向上させること。

提案手法

• 複数の予測子からの出力を集約する集合的予測メカニズムを導入し、未ラベルデータに起因するノイズと不確実性を低減する。
• 理論的同定を通じて新たな損失関数を導出し、リスク推定器ではなく予測子の是正に焦点を当てることで、クラス不確実性に起因するバイアスを排除する。
• PU制約下での事後確率推定を考慮した、変更された損失関数を備えたシグモイド活性化関数を用いたニューラルネットワーク分類器を採用する。
• 集合的損失関数はFisher整合的であり、一般化誤差が有界であるように設計されており、最適な意思決定境界への収束を保証する。
• 未ラベルデータをポジティブとネガティブの混合として扱い、集合的推論を用いて予測をバランスさせる。明示的なネガティブラベル付けを回避する。
• 深層畳み込みニューラルネットワークを用いてエンドツーエンドに適用し、モデル容量を保持しながら、誤ったクラス事前分布推定に対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不確かなラベルを含む未ラベルデータに起因するバイアスを回避するため、PU学習に適した損失関数をどのように設計できるか？
• RQ2 損失計算の前段階で集合的予測補正を施すことで、リスクベース補正よりも優れた一般化性能と性能が得られるか？
• RQ3 提案手法は、未ラベルセットにおける誤ったクラス事前分布推定に対してどの程度頑健か？
• RQ4 集合的損失関数は、多様なベンチマークおよび実世界のデータセットにおいて、既存の最先端PU学習手法を上回る性能を示すか？

主な発見

• cPUは、最先端のPU学習手法を一貫して上回り、挑戦的なCIFAR-10データセットでは1–4ポイントの精度向上を達成した。
• MNIST、USPS、SVHN、および20ngデータセットでは、cPUは最小限の標準偏差で高い性能を維持しており、強力な安定性を示した。
• 誤ったクラス事前分布推定に対しても、性能の変動が許容範囲内に保たれ、未ラベルデータにおけるポジティブ事前分布が±10%変動しても、性能が著しく低下しなかった。
• 学習の可視化では、未ラベルのポジティブサンプル（例：犬）が徐々にポジティブクラスタに近づくのに対し、曖昧またはノイズの多いサンプルは意思決定境界付近を振動的に移動することが観察された。
• ケーススタディでは、モデルの予測がラベル信号と視覚的類似性に従って導かれることが明らかになったが、主に曖昧または人間を含む画像で誤分類が発生した。
• 理論的分析により、集合的損失関数がFisher整合的であり、一般化誤差が有界であることが確認され、最適な意思決定境界への収束を支持する。