[論文レビュー] Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data

Masahiro Kato, Liyuan Xu+2 more|arXiv (Cornell University)|Sep 15, 2018

Advanced Statistical Methods and Models参考文献 5被引用数 9

ひとこと要約

本論文は、正例と未ラベル付き（PU）データから、二値分類器とクラス事前確率を同時に学習する、新しい交互推定フレームワークを提案する。従来の二段階手法の制限を克服するため、両方のコンポonentを繰り返し改善することで、分類器学習中にクラス事前確率推定誤差を考慮し、弱い正則性条件のもとで真のクラス事前確率に収束することを達成する。

ABSTRACT

We consider a problem of learning a binary classifier only from positive data and unlabeled data (PU learning) and estimating the class-prior in unlabeled data under the case-control scenario. Most of the recent methods of PU learning require an estimate of the class-prior probability in unlabeled data, and it is estimated in advance with another method. However, such a two-step approach which first estimates the class prior and then trains a classifier may not be the optimal approach since the estimation error of the class-prior is not taken into account when a classifier is trained. In this paper, we propose a novel unified approach to estimating the class-prior and training a classifier alternately. Our proposed method is simple to implement and computationally efficient. Through experiments, we demonstrate the practical usefulness of the proposed method.

研究の動機と目的

• クラス事前確率を最初に推定し、その後に分類器を学習する二段階PU学習手法の性能が最適でないという問題を解決すること。
• クラス事前確率と分類器を交互に推定する統一フレームワークを開発し、事前確率推定からの誤差伝搬を低減すること。
• 分類器学習中にクラス事前確率推定の不確実性を考慮することで、分類性能を向上させること。
• ケースコントロール状況下でのPU学習に適した、計算的に効率的で実装が簡単なアルゴリズムを提供すること。

提案手法

• 本手法は、クラス事前確率 π と分類器 f を、対数損失関数を用いた経験的リスク最小化フレームワークで交互に推定する。
• 各反復 k において、κ = π^(k) を固定して、PUデータから導出された不偏リスク推定器を用いて、リスク R^κ(f) を最小化することで分類器 f^(k) を訓練する。
• クラス事前確率 π^(k+1) は、分類器出力 f^(k)(x) を未ラベルデータの分布 p(x) に関して積分することで更新され、すなわち π^(k+1) = ∫ f^(k)(x) p(x) dx となる。
• 数値的不安定性を防ぐために、f^(k)(x) にクリッピング機構を適用し、1 から離れた範囲に保つ。
• 理論的分析により、クラス事前確率推定 π^(k) が、データと整合可能な最大クラス事前確率 π_max に収束することを証明した。
• 収束レートを確立するため、クラス条件付き密度および周辺密度のリプシッツ連続性を仮定した。

実験結果

リサーチクエスチョン

• RQ1 PU学習におけるクラス事前確率と分類器の共同推定は、事前確率を最初に推定してから分類器を学習する二段階手法を上回る性能を達成できるか？
• RQ2 分類器学習中にクラス事前確率推定誤差を考慮することで、全体の分類性能にどのような影響を与えるか？
• RQ3 未知のクラス事前確率を伴うPU学習における交互最適化スキームに、どのような収束保証を提供できるか？
• RQ4 本手法は、データ密度に関する現実的な正則性条件のもとで、真のクラス事前確率に収束するか？
• RQ5 最先端のクラス事前確率推定法およびPU学習手法と比較して、本手法の性能はどのように異なるか？

主な発見

• 提案手法の交互推定は、密度関数のリプシッツ連続性を含む弱い正則性条件のもとで、真のクラス事前確率 π_max に収束することが示された。
• 理論的分析により、クラス事前確率推定 π^(k) が、次元 d および密度パラメータに依存するレートで π_max に収束することが分かった。
• 実験結果から、本手法が、特にクラス事前確率が不正確に推定される状況においても、ベースラインの二段階手法を上回る分類性能を達成することが示された。
• 本手法は計算的に効率的で、実装が簡単であり、分類器と事前確率推定の繰り返し更新のみを必要とする。
• 分類器出力を 1 から離れるようにクリッピングすることで、数値的安定性が維持される。
• 実験では、PU学習と組み合わせた際、既存のクラス事前確率推定技術を上回る性能を示した。