[論文レビュー] Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach

Emmanouil Antonios Platanios, Hoifung Poon+2 more|arXiv (Cornell University)|May 19, 2017

Bayesian Modeling and Causal Inference参考文献 10被引用数 19

ひとこと要約

本稿では、クラス間の論理的制約（例えば、互いに排他的であること）を活用することで、ラベルなしデータのみを用いて分類器の正確性を確率論的手法で推定する手法を提案する。この手法は分類器の出力をソフト確率としてモデル化し、確率的ソフト論理（PSL）を用いたマルコフ確率的場（MRF）を用いて推論を行う。誤差率の推定値は真の正確性と3–5%以内に収まり、4つの実世界データセットにおいて最先端の手法を上回る性能を示した。

ABSTRACT

We propose an efficient method to estimate the accuracy of classifiers using only unlabeled data. We consider a setting with multiple classification problems where the target classes may be tied together through logical constraints. For example, a set of classes may be mutually exclusive, meaning that a data instance can belong to at most one of them. The proposed method is based on the intuition that: (i) when classifiers agree, they are more likely to be correct, and (ii) when the classifiers make a prediction that violates the constraints, at least one classifier must be making an error. Experiments on four real-world data sets produce accuracy estimates within a few percent of the true accuracy, using solely unlabeled data. Our models also outperform existing state-of-the-art solutions in both estimating accuracies, and combining multiple classifier outputs. The results emphasize the utility of logical constraints in estimating accuracy, thus validating our intuition.

研究の動機と目的

• ラベルなしデータを必要としない分類器の正確性推定を可能とし、教師なし学習やクラウドソーシングの文脈への応用を可能にする。
• 分類出力間の論理的制約（例：相互排他的であること）を活用して、正確性推定の精度を向上させる。
• ラベルなしデータと利用可能なラベル付きデータを統合するスケーラブルな手法を構築し、半教師ありの正確性推定を実現する。
• 真のラベルが不明な状況において、制約を考慮した確率的推論を用いて各インスタンスの最も可能性の高い真のラベルを推定する。
• ラベルなしデータのみを用いて、既存の最先端手法を上回る誤差率推定およびラベル予測性能を達成する。

提案手法

• 分類器の出力を [0, 1] の範囲のソフト確率としてモデル化し、予測に対する信頼度を表現する。
• 論理的制約（例：相互排他的であること）をマルコフ確率的場（MRF）における確率的ルールとして表現する。
• MRF上で効率的な確率的推論を実行するため、修正された確率的ソフト論理（PSL）フレームワークを用いる。
• 大規模なデータセット（数百万インスタンス）に対応するため、ヒューリスティックなグラウンディングアルゴリズムと確率的コンSENSUS ADMMを適用する。
• 論理的制約に違反する一貫性のない予測を特定することで、分類器の誤差率を推定する。
• 最大事後確率（MAP）推論を用いて、同時に各インスタンスの最も可能性の高い真のラベルを推定する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータと論理的制約のみを用いて、分類器の正確性を信頼性を持って推定できるか？
• RQ2 真のラベルが存在しない状況で、論理的制約（例：相互排他的であること）が正確性推定の精度向上にどの程度効果を発揮するか？
• RQ3 本手法は、数百万インスタンスおよび複数の分類タスクを含む大規模データセットに対してもスケーラブルか？
• RQ4 本手法は、誤差率推定およびラベル予測の両面で、既存の最先端手法と比較してどのように優れているか？
• RQ5 論理的制約が存在しない状況において、本手法はどの程度一般化可能か？

主な発見

• 提案手法は、4つのすべてのデータセットで真の誤差率と比較して平均絶対誤差（MAD）が3–5%以内に収まり、高い精度を達成した。
• 論理的制約がある NELL-7 および NELL-11 データセットでは、MAD が 3.71 で最低、AUC が 0.615 で最高を記録し、すべてのベースラインを上回った。
• 論理的制約のない uNELL および uBRAIN データセットでも、誤差率推定のMADにおいて一貫してすべてのベースラインを上回り、10回中8回で最高の結果を達成した。
• 本手法は効率的なスケーリングを実現し、15インチの MacBook Pro で10分未満で推論を完了した。一方、2番目に優れた手法である HCBEE は約100分を要した。
• uNELL-All データセットでは、ラベルなしデータのみを用いて AUC 0.998 を達成し、次に優れた手法（BEE）の 0.795 より顕著に優れた性能を示した。
• ラベルなしデータでも、高いAUCスコアを示すなど、高精度に最も可能性の高い真のラベルを正しく推定できた。