[論文レビュー] On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL

Marco Loog, Jesse H. Krijthe+1 more|arXiv (Cornell University)|Jul 13, 2017

Data Stream Mining Techniques参考文献 3被引用数 4

ひとこと要約

本稿では、半教師あり学習（SSL）分類器の評価について、誤差率に加えてその内在的代理損失（例：対数尤度）も用いることを提案している。これは、性能向上をよりよく捉えるものである。実証的に示されたのは、誤差率は不規則で、しばしばラベルなしデータの増加に伴い改善しない一方、対数尤度のような代理損失は、ラベルなしデータの増加に伴い一貫してかつ単調に増加することであり、SSL戦略のより信頼できる性能指標を提供する。

ABSTRACT

In various approaches to learning, notably in domain adaptation, active learning, learning under covariate shift, semi-supervised learning, learning with concept drift, and the like, one often wants to compare a baseline classifier to one or more advanced (or at least different) strategies. In this chapter, we basically argue that if such classifiers, in their respective training phases, optimize a so-called surrogate loss that it may also be valuable to compare the behavior of this loss on the test set, next to the regular classification error rate. It can provide us with an additional view on the classifiers' relative performances that error rates cannot capture. As an example, limited but convincing empirical results demonstrates that we may be able to find semi-supervised learning strategies that can guarantee performance improvements with increasing numbers of unlabeled data in terms of log-likelihood. In contrast, the latter may be impossible to guarantee for the classification error rate.

研究の動機と目的

• 半教師あり学習（SSL）の性能評価に誤差率を唯一の指標として用いることの信頼性の低さを是正すること。
• 訓練中に一般的に最適化される代理損失—誤差率よりも安定的で情報量が多い性能指標であることを主張すること。
• 実証的に、代理損失は誤差率とは異なり、ラベルなしデータの増加に伴い単調に向上することを示すこと。
• この評価フレームワークをSSLにとどまらず、アクティブラーニング、ドメイン適応、データシフト下の学習といった他の学習設定へと拡張すること。
• 一般条件下で誤差率の性能保証が困難であるのに対し、代理損失の観点からは性能保証がより現実的である証拠を提示すること。

提案手法

• 著者らは、ラベル付きサンプルの数を増やし、ラベルなしデータの量を変化させたデータセット上で、教師あり学習、自己学習、制約付き半教師あり分類器（NMCおよびLDA）を訓練した。
• モデルの評価には、標準的な0/1分類誤差率と、テストセットにおける内在的代理損失（対数尤度）を用いた。
• 統計的妥当性を確保し、標準偏差帯を計算するために、各実験を1000回繰り返した。
• 使用された代理損失は、推定モデル下でのテストデータの対数尤度であり、これは最尤推定で最適化される目的関数そのものである。
• 一般化性を評価するために、複数のベンチマークデータセット（例：wdbc, haberman, transfusion）を用いて比較を行った。
• 自己学習（例：EMベース）と制約付き半教師ありアプローチを対比させることで、異なるSSL戦略を比較した。

実験結果

リサーチクエスチョン

• RQ1 代理損失は、誤差率に比べて、半教師あり学習における分類器性能の評価においてより信頼性が高く一貫性がある指標となるか？
• RQ2 誤差率ではなく代理損失（例：対数尤度）を最適化する半教師あり学習戦略は、その損失を指標とした場合、ラベルなしデータの増加に伴い性能が単調に向上するか？
• RQ3 異なる学習戦略やデータセットにおいて、誤差率と代理損失の挙動にどの程度の乖離が生じるか？
• RQ4 誤差率の性能保証が困難な状況下でも、代理損失の観点から性能保証を意味的に確立できるか？
• RQ5 アクティブラーニングやドメイン適応といった分野においても、代理損失を性能指標として用いることは有益か？

主な発見

• 自己学習モデルおよび制約付き半教師ありモデルの誤差率は、データセットごとに不規則で一貫性がなく、しばしば改善しない傾向を示し、一部のケースでは顕著な悪化が見られた。
• それに対して、制約付き半教師ありアプローチでは、22件の実験のうち2件を除き、テストデータの対数尤度がラベルなしデータの増加に伴い一貫してかつ顕著に増加した。
• 自己学習モデルの場合、4つのラベル付きサンプルを用いたすべてのケースで対数尤度が向上したが、その増加は単調ではなかったため、学習ダイナミクスがより不安定であることが示された。
• 制約付きアプローチは、22件の全実験において代理損失（対数尤度）を一貫して向上させ、信頼性があり予測可能な性能向上を示した。
• 研究では、代理損失が向上している間でさえ、誤差率の向上が保証されないケースがあることが判明し、誤差率にのみ依存する限界を強調した。
• 結果から、特にラベルなしデータの影響を評価する際、誤差率よりも代理損失がより情報量が多く安定した指標であることが示唆された。