[論文レビュー] A Variational Approach for Learning from Positive and Unlabeled Data

Hui Chen, Fangqing Liu+3 more|arXiv (Cornell University)|Jun 3, 2019

Machine Learning and Data Classification参考文献 28被引用数 22

ひとこと要約

本論文は、クラス事前分布の推定やデータの分離可能性の仮定を必要とせず、ベイジアン・クラスファイアのモデリング誤差を直接最小化する変分的手法を提案する。ラベル付きおよびラベルなしデータの分布に基づくクラス事前分布フリーの変分損失を定式化することで、一貫性があり効率的な最適化が可能となり、CIFAR-10 や Fashion-MNIST を含むベンチマークデータセットで最先端の精度を達成する。

ABSTRACT

Learning binary classifiers only from positive and unlabeled (PU) data is an important and challenging task in many real-world applications, including web text classification, disease gene identification and fraud detection, where negative samples are difficult to verify experimentally. Most recent PU learning methods are developed based on the conventional misclassification risk of the supervised learning type, and they require to solve the intractable risk estimation problem by approximating the negative data distribution or the class prior. In this paper, we introduce a variational principle for PU learning that allows us to quantitatively evaluate the modeling error of the Bayesian classifier directly from given data. This leads to a loss function which can be efficiently calculated without any intermediate step or model, and a variational learning method can then be employed to optimize the classifier under general conditions. In addition, the discriminative performance and numerical stability of the variational PU learning method can be further improved by incorporating a margin maximizing loss function. We illustrate the effectiveness of the proposed variational method on a number of benchmark examples.

研究の動機と目的

• 負例が入手不可能または検証が難しい状況において、正例と未ラベルデータしか利用できない場合に、正確な二値分類器を訓練する課題に対処すること。
• クラス事前分布の推定が不正確であるか、データの分離可能性を仮定する必要があるという既存のPU学習手法の限界を克服すること。
• 観測されたデータ分布からのみ直接的にベイジアン・クラスファイアのモデリング誤差を評価・最小化できる、原理的でクラス事前分布フリーのフレームワークを構築すること。
• 中間推定ステップや強い仮定を必要とせず、一般条件下でもロバストで一貫性のある分類器最適化を可能にすること。
• 特にデータ量が少ない状況やクラス不均衡な設定において、実世界のベンチマークデータセットで優れた性能を示すこと。

提案手法

• ラベル付きおよび未ラベル付きデータの経験的分布のみを用いて、候補となる分類器と理想のベイジアン・クラスファイアとの差を定量化する変分原理を導入する。
• クラス事前分布の明示的推定を回避するため、正例データ分布と分類器の出力分布の間の発散を測る変分損失関数を定義する。
• 経験的平均化によって一貫性があり、効率的に計算可能なクラス事前分布フリーの損失関数として最適化問題を定式化する。
• 正例分布と分類器が誘導する分布の間のジェンセン・シャノン発散を近似するために、識別器ネットワークを用いた敵対的訓練を活用する。
• 分類器の出力と正例データ密度の間の重み付きL²距離を最小化する代替定式化を採用し、ニューラルネットワークの訓練により最適化する。
• 負例やクラス事前分布のノイズの高いまたはヒューリスティックな推定を必要とせず、直接的にベイジアン・クラスファイアを近似するための変分最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 クラス事前分布の推定やデータの分離可能性の仮定を一切行わず、PU学習においてベイジアン・クラスファイアを一貫して近似できるか？
• RQ2 ラベル付きおよび未ラベル付きデータのみを用いて、クラス事前分布フリーの方法で分類器のモデリング誤差を定量的に評価できるか？
• RQ3 データ分布に基づく変分損失は、クラス事前分布が不明な状況においても、既存のPU学習手法を上回る精度とロバストネスを達成できるか？
• RQ4 識別器を用いた敵対的訓練は、PU学習において正例分布と分類器が誘導する分布の発散を効果的に最小化できるか？
• RQ5 提案手法は、CIFAR-10 や Fashion-MNIST といった標準ベンチマークデータセットにおいて、特にデータが少ない状況やクラス不均衡な状況でどのように性能を発揮するか？

主な発見

• 提案手法 VPU は、CIFAR-10 1 や STL-10 1 を含む複数のベンチマークデータセットで最先端の性能を達成し、F-MNIST 1 で 97.3%、STL-10 1 で 97.6% の精度を記録し、nnPU や uPU、GenPU を上回る。
• Fashion-MNIST データセットでは、VPU が 92.7% の精度を達成し、nnPU (90.8%) やその MixUp 増強版 (91.0%) を顕著に上回るが、後者ですらデータ増強を活用している。
• すべてのデータセットで高い AUC スコアを維持し、F-MNIST 1 で 0.973、STL-10 1 で 0.976 の AUC を示しており、優れた一般化性能とロバストネスを示している。
• VPU はクラス事前分布の不正確さに対してロバストであり、負例を用いた交差検証を必要としない。これは、クラス事前分布の推定を完全に回避しているためである。
• 変分損失の定式化により、中間推定ステップを必要とせず一貫性のある最適化が可能となり、安定かつ高精度な結果が得られる。
• 実験の結果、VPU は MixUp などのデータ増強に対して感受性が低く、nnPU よりも増強効果をあまり得られないのとは対照的に、その本質的なロバストネスが示された。