[論文レビュー] Evaluation Evaluation a Monte Carlo study

David Powers|arXiv (Cornell University)|Apr 3, 2015

Natural Language Processing Techniques参考文献 9被引用数 7

ひとこと要約

この論文は、クラス頻度に起因するバイアスのため、従来のNLP評価指標（精度、再現率、正解率）が偏っていると批判し、モンテカルロシミュレーションを通じて、システムの性能が向上しているように見えるにもかかわらずこれらの指標が誤解を招く可能性があることを示している。本稿では、偶然の一致を補正するCohenのKappaとPowersのインフォームドネスというバイアスのない代替指標を提案し、インフォームドネスが心理的に意味のあるデルタP指標と関連していることを示している。

ABSTRACT

Over the last decade there has been increasing concern about the biases embodied in traditional evaluation methods for Natural Language Processing/Learning, particularly methods borrowed from Information Retrieval. Without knowledge of the Bias and Prevalence of the contingency being tested, or equivalently the expectation due to chance, the simple conditional probabilities Recall, Precision and Accuracy are not meaningful as evaluation measures, either individually or in combinations such as F-factor. The existence of bias in NLP measures leads to the 'improvement' of systems by increasing their bias, such as the practice of improving tagging and parsing scores by using most common value (e.g. water is always a Noun) rather than the attempting to discover the correct one. The measures Cohen Kappa and Powers Informedness are discussed as unbiased alternative to Recall and related to the psychologically significant measure DeltaP. In this paper we will analyze both biased and unbiased measures theoretically, characterizing the precise relationship between all these measures as well as evaluating the evaluation measures themselves empirically using a Monte Carlo simulation.

研究の動機と目的

• 精度、再現率、正解率などの従来のNLP評価指標に内在するバイアスを特定・分析すること。
• これらの指標がクラス頻度および偶然の一致のため誤解を招く可能性があり、システム性能の偽の向上をもたらすことがあることの実証。
• CohenのKappaとPowersのインフォームドネスというバイアスのない代替指標を提示・検証し、より信頼できる評価指標とする。
• モンテカルロシミュレーションを用いて、評価指標自体の性能を実証的に評価すること。
• インフォームドネスと心理的に意味のあるデルタP指標との間の理論的および実証的関連を確立すること。

提案手法

• バイアスのある指標（精度、再現率、正解率）とバイアスのない代替指標（CohenのKappa、インフォームドネス）の関係の理論的分析。
• クラス頻度に基づく連関表における期待される偶然の一致（バイアス）の導出を、ランダムな性能を補正するためのものとする。
• 制御された頻度と真のラベルを有する合成データセットを生成するためにモンテカルロシミュレーションの適用。
• 複数回のシミュレーション試行において、バイアスのある指標とバイアスのない指標を比較し、一貫性と信頼性を評価。
• インフォームドネスの定義（真正陽性率と真正陰性率の和から1を引いたもの）を用い、システムの真の診断的価値を定量化。
• インフォームドネスを心理的指標デルタPにマッピングし、意思決定における認識された改善を反映するものとする。

実験結果

リサーチクエスチョン

• RQ1 クラス頻度は、精度、再現率、正解率といった従来のNLP評価指標の信頼性にどのように影響するか？
• RQ2 システムがこれらの指標に最適化される際、特に支配的クラスラベルを悪用することで、どれほどバイアスのある評価指標が誤解を招くのか？
• RQ3 CohenのKappaやPowersのインフォームドネスといったバイアスのない指標は、真のシステム性能を伝える点で従来の指標と比べてどのように異なるか？
• RQ4 モンテカルロシミュレーションは、NLPにおける標準的評価手法の欠陥を効果的に露呈できるか？
• RQ5 インフォームドネスと心理的に有意義なデルタP指標との関係は、システム性能評価においてどのような意味を持つのか？

主な発見

• 精度、再現率、正解率といった従来の指標は、クラス頻度に起因する根本的なバイアスを内包しており、たとえば最も頻度の高いクラスを常に予測することで、人工的に向上させることができる。
• モンテカルロシミュレーションの結果、システムの実際の予測能力に変化がないにもかかわらず、バイアスのある指標がしばしば誤った改善を示すことが確認された。
• CohenのKappaとPowersのインフォームドネスは、偶然の一致を補正するバイアスのない推定器として示され、システムの真の診断的価値をよりよく反映している。
• インフォームドネスは数学的にデルタPに等しく、意思決定における認識された改善を反映する指標として心理的関連性を有する。
• 研究は、評価指標自体を評価することが不可欠であることを示しており、誤った指標は研究者と実務家を誤導する可能性がある。
• 本稿は、バイアスのある指標に依存することで、最適でないシステム設計が生じる可能性があると結論づけ、NLP評価においてバイアスのない代替指標の採用を提言する。