[論文レビュー] Evaluating Classifiers Without Expert Labels

Hyun Joon Jung, Matthew Lease|arXiv (Cornell University)|Dec 5, 2012

Machine Learning and Data Classification参考文献 36被引用数 11

ひとこと要約

本稿では、熟練者ラベルなしで機械学習分類器を評価するスケーラブルな手法を提案している。自作の擬似ゴールドラベル（ブラインド評価）またはクラウドソーシングによるラベルを用いる。2つの戦略—combine & score および score & combine—を評価し、複数のラベルセットをサンプリングする score & combine が、特に正解率、適合率、再現率において熟練者ベースの性能と高い相関（r > 0.9）を示すことを示した。これは、高コストな熟練者ラベリングの信頼できる代替手段である。

ABSTRACT

This paper considers the challenge of evaluating a set of classifiers, as done in shared task evaluations like the KDD Cup or NIST TREC, without expert labels. While expert labels provide the traditional cornerstone for evaluating statistical learners, limited or expensive access to experts represents a practical bottleneck. Instead, we seek methodology for estimating performance of the classifiers which is more scalable than expert labeling yet preserves high correlation with evaluation based on expert labels. We consider both: 1) using only labels automatically generated by the classifiers (blind evaluation); and 2) using labels obtained via crowdsourcing. While crowdsourcing methods are lauded for scalability, using such data for evaluation raises serious concerns given the prevalence of label noise. In regard to blind evaluation, two broad strategies are investigated: combine & score and score & combine methods infer a single pseudo-gold label set by aggregating classifier labels; classifiers are then evaluated based on this single pseudo-gold label set. On the other hand, score & combine methods: 1) sample multiple label sets from classifier outputs, 2) evaluate classifiers on each label set, and 3) average classifier performance across label sets. When additional crowd labels are also collected, we investigate two alternative avenues for exploiting them: 1) direct evaluation of classifiers; or 2) supervision of combine & score methods. To assess generality of our techniques, classifier performance is measured using four common classification metrics, with statistical significance tests. Finally, we measure both score and rank correlations between estimated classifier performance vs. actual performance according to expert judgments. Rigorous evaluation of classifiers from the TREC 2011 Crowdsourcing Track shows reliable evaluation can be achieved without reliance on expert labels.

研究の動機と目的

• KDD Cup や TREC のような大規模な共有タスクにおいて、熟練者ラベリングのスケーラビリティのボトルネックを解消すること。
• 相対的および絶対的分類器性能を推定するための、信頼性が高くスケーラブルな熟練者ラベルの代替策を開発すること。
• 分類器の出力のみを用いるブラインド評価と、クラウドソーシングラベルを用いるハイブリッド手法が、真の分類器性能をどれだけ正確に予測できるかを評価すること。
• 複数のメトリクスと手法において、推定性能と熟練者による検証済み性能との間のスコアおよびランク相関を測定すること。

提案手法

• ブラインド評価戦略を2つ提案：combine & score（分類器出力を統合して1つの擬似ゴールドラベルセットを生成）および score & combine（複数のラベルセットをサンプリングし、それらの性能を平均化）。
• クラウドソーシングラベルを用いる2つのハイブリッドアプローチを導入：クラウドラベル上で直接評価する方法と、combine-and-score手法をクラウドラベルを事前知識として用いて監視する方法。
• 分類器性能の評価に、4つの標準的分類メトリクス—正解率（ACC）、適合率（PRE）、再現率（REC）、特異度（SPE）—を用いる。
• 推定性能と実際の性能に基づく分類器のランク付けの差を検出するために、統計的有意性の検定（対応のあるt検定）を実施。
• 推定性能と熟練者による検証済み性能との間のピアソンスコア相関とスピアマンランク相関を測定し、推定の信頼性を評価。
• TREC 2011 クラウドソーシングトラックのデータを用いた厳密な実験フレームワークを採用。評価には、別々の検証（D3）およびテスト（D4）データセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 分類器の出力のみを用いて、熟練者ラベルなしで性能を信頼性高く推定できるか？
• RQ2 クラウドソーシングラベルを組み込むことで、ブラインド評価手法に比べて性能推定の正確性が向上するか？
• RQ3 combine & score と score & combine のどちらの推定手法が、さまざまなメトリクスにおいて熟練者による検証済み性能と最も高い相関を達成するか？
• RQ4 クラウドラベルの導入が、特にスコア相関とランク相関の観点から、性能推定の信頼性にどのように影響するか？
• RQ5 推定手法は、特に統計的有意性で測定される性能の差を考慮した場合、さまざまな分類メトリクスに対して頑健であるか？

主な発見

• score & combine 法は、正解率、適合率、再現率において、熟練者による検証済み性能とピアソン相関係数0.9以上を達成しており、推定の信頼性が非常に高いことを示している。
• 検証セットにおいて、score & combine のスピアマンランク相関は0.96に達し、クラウドラベルを用いない場合、combine & score（0.75～0.95）を著しく上回っている。
• クラウドソーシングラベルは、ブラインド評価手法に比べて性能推定を顕著に改善しないことが示され、高品質な擬似ゴールドラベルは分類器出力のみからも生成可能であることを示唆している。
• 複数のラベルセットをサンプリングし、性能を平均化する方法（score & combine）は、単一の擬似ゴールドラベルセットの統合（combine & score）に比べ、スコア相関およびランク相関の両面で一貫して優れている。
• 特異度（SPE）に関しては相関が低く（r < 0.67）あり、分散が大きくまたは出現頻度が低いメトリクスでは推定が依然として困難であることが示された。
• 統計的有意性の検定により、手法間の相関の差が有意であることが確認され、score & combine は全メトリクスにおいて combine & score よりも常に高いランクを獲得している。