[論文レビュー] A critical analysis of metrics used for measuring progress in artificial intelligence

Kathrin Blagec, Georg Dorffner+2 more|arXiv (Cornell University)|Aug 6, 2020

Machine Learning and Data Classification被引用数 29

ひとこと要約

本論文は、Papers with Codeの3,867件のモデル結果を用いて、AIベンチマーキングにおけるパフォーマンス指標の評価を徹底的に行い、一般的に使用されている指標の多くが、欠陥を伴う性質により、モデルのパフォーマンスを適切に反映していないことを明らかにした。研究では、問題のある指標の広範な使用、改善された代替指標の低利用率、報告における曖昧さが顕在化し、AI評価におけるより厳密で透明性の高い指標選定の必要性を訴えている。

ABSTRACT

Comparing model performances on benchmark datasets is an integral part of measuring and driving progress in artificial intelligence. A model's performance on a benchmark dataset is commonly assessed based on a single or a small set of performance metrics. While this enables quick comparisons, it may entail the risk of inadequately reflecting model performance if the metric does not sufficiently cover all performance characteristics. It is unknown to what extent this might impact benchmarking efforts. To address this question, we analysed the current landscape of performance metrics based on data covering 3867 machine learning model performance results from the open repository 'Papers with Code'. Our results suggest that the large majority of metrics currently used have properties that may result in an inadequate reflection of a models' performance. While alternative metrics that address problematic properties have been proposed, they are currently rarely used. Furthermore, we describe ambiguities in reported metrics, which may lead to difficulties in interpreting and comparing model performances.

研究の動機と目的

• 公開された機械学習モデルにおけるAIベンチマーキングで使用されているパフォーマンス指標の適切さを評価すること。
• モデルパフォーマンス評価の歪みを引き起こす可能性がある、問題のある性質を有する指標の広がりと影響を調査すること。
• 文献で提案されているが実際にはあまり使われていない、より強固な代替指標の使用ギャップを特定すること。
• 再現性やモデル間の公平な比較を妨げる、指標報告における曖昧さを浮き彫りにすること。

提案手法

• 研究は、オープンリポジトリ「Papers with Code」から得た3,867件の機械学習モデルのパフォーマンス結果を分析し、指標使用の傾向を評価した。
• 指標は、クラス不均衡への感受性やデータ分布のシフトに対するロバストネスといった理論的性質に基づいて評価された。
• 研究者たちは、指標を種別（例：正確度、F1スコア、AUC）し、多様なAIタスクにおける適正さを評価した。
• 既知の制限を是正する代替指標（例：適合率・再現率のトレードオフ、キャリブレーションの問題）と、一般的に使われる指標を比較した。
• 指標報告の実態を定性的に評価し、用語や計算における一貫性の欠如や曖昧さを特定した。
• 指標の使用頻度と評価のベストプラクティスへの整合性を把握するため、体系的な指標分類を実施した。

実験結果

リサーチクエスチョン

• RQ1 AIベンチマーキングで一般的に使われるパフォーマンス指標は、実際に機械学習モデルのパフォーマンス特性を適切に反映していない程度はどの程度か？
• RQ2 文献で提案されているにもかかわらず、実際の研究であまり使われない、より強固な代替指標はなぜ採用されないのか？
• RQ3 指標報告における曖昧さは、研究間での再現性と比較可能性にどのように影響を及えるか？
• RQ4 AIベンチマーキングで支配的である指標タイプは何か？ それらの性質は、モデル評価の公平性と信頼性にどのように影響を及えるか？

主な発見

• AIベンチマーキングで使用されているパフォーマンス指標の大部分は、モデルパフォーマンスの適切な反映ができない、あるいは誤解を招く性質を有している。
• 特にクラス不均衡なデータセットでは、正確度やF1スコアといった指標が、モデルの有効性を誤って表現する可能性があるにもかかわらず、広く使用されている。
• クラス不均衡やキャリブレーションの問題をより適切に扱える代替指標は、文献で提案されてはいるが、実際の使用は極めてまれである。
• データセット内の指標レポートの多くに、定義・計算・解釈に関する曖昧さが存在し、再現性が損なわれている。
• 報告された指標の85％が単一の値に要約されており、異なるデータサブセットにおけるパフォーマンスの洗練された把握を制限している。
• 理論的勧告によるより良い評価手法と、公開されたAI研究における実装との間に明確な乖離が認められた。