[論文レビュー] Rethinking and Recomputing the Value of Machine Learning Models

Burcu Sayin, Jie Yang+3 more|arXiv (Cornell University)|Sep 30, 2022

Business Process Modeling and Analysis被引用数 4

ひとこと要約

この論文は、機械学習モデルの評価を、正確性中心の指標から価値志向の評価へ移行させるべきだと主張している。モデルの有用性は、応用文脈、拒否閾値、および誤りのコストに依存する。誤りのコストが高い状況では、単純なモデルが複雑なモデルを上回ることが多く、閾値設定と価値志向の選択が、キャリブレーションや正確性単体よりも顕著に優れていることを示している。

ABSTRACT

In this paper, we argue that the prevailing approach to training and evaluating machine learning models often fails to consider their real-world application within organizational or societal contexts, where they are intended to create beneficial value for people. We propose a shift in perspective, redefining model assessment and selection to emphasize integration into workflows that combine machine predictions with human expertise, particularly in scenarios requiring human intervention for low-confidence predictions. Traditional metrics like accuracy and f-score fail to capture the beneficial value of models in such hybrid settings. To address this, we introduce a simple yet theoretically sound "value" metric that incorporates task-specific costs for correct predictions, errors, and rejections, offering a practical framework for real-world evaluation. Through extensive experiments, we show that existing metrics fail to capture real-world needs, often leading to suboptimal choices in terms of value when used to rank classifiers. Furthermore, we emphasize the critical role of calibration in determining model value, showing that simple, well-calibrated models can often outperform more complex models that are challenging to calibrate.

研究の動機と目的

• 正確性やキャリブレーション指標ではなく、現実世界の価値に基づいて機械学習モデルの評価を再定式化すること。
• 誤りのコストが高いため、企業および社会的AIアプリケーションにおいて標準的なモデル評価の限界を解消すること。
• モデル選択が、単に予測性能ではなく、ワークフロー統合における価値を優先すべきであることを示すこと。
• 選択的AIシステムにおいて、正確性やキャリブレーションをモデル有用性の代理指標として用いるリスクを浮き彫りにすること。
• 特に誤りコストが高い状況では、ドメイン特化の訓練を経た単純なモデルが、大規模事前学習モデルを価値の観点から上回ることを示すこと。

提案手法

• 拒否率、予測の正しさ、誤りのコストを考慮する価値関数を通じて、モデル評価が再定義される。
• モデルの価値は、異なる拒否閾値（k）における期待効用として計算され、現実世界のデプロイをシミュレートする。
• 実験では、人間が関与するワークフローを模倣するために、閾値ベースの拒否が用いられ、さまざまなコスト要因における価値が測定される。
• モデルは正確性だけでなく、k値（例：k=1 から k=10）における価値曲線を通じて比較され、現実世界のコストトレードオフを反映する。
• 研究では、ロジスティック回帰、MLP、BERT、T5、およびファインチューニングされたGPT-3を含む多様なモデルが、ドメイン特化のテキストエンコーダーを用いてMDSデータセットで評価されている。
• 理論的閾値を用いて価値が計算され、結果は価値曲線として可視化され、コスト感受性な状況におけるモデルパフォーマンスの比較がなされる。

実験結果

リサーチクエスチョン

• RQ1 誤りと拒否のコスト要因が異なる状況で、モデルの価値はどのように変化するか？
• RQ2 正確性やF1スコアといった標準指標は、選択的AIシステムにおける現実世界のモデル有用性をどれほど正確に予測できないか？
• RQ3 誤りのコストが高い状況では、単純なモデルが大規模事前学習モデルを価値の観点から上回ることができるか？
• RQ4 キャリブレーションと、高信頼度が正しい予測に対応する確率との関係は何か？
• RQ5 ドメイン外データで訓練されたモデルと、ドメイン内データで訓練されたモデルは、誤りコストが高い状況下で価値にどのように影響を及ぼすか？

主な発見

• TF-IDFエンコーダーを用いた単純なモデル（例：ロジスティック回帰、MLP1）は、k ≥ 4 の高コスト要因下で、T5 や SieBERT といった複雑なモデルを価値の観点から上回る。
• ファインチューニングされたGPT-3モデルは、キッチンデータセットで85.3%の高い正確性を達成したが、k=10では負の価値を示し、高正確性が必ずしも有用性を保証しないことを示している。
• 信頼度閾値による予測のフィルタリングは、モデル価値を顕著に向上させ、閾値チューニングはキャリブレーション手法を上回る価値最大化を達成する。
• キャリブレーションが行われても、信頼度スコアは正しく予測される確率を信頼できる形で反映していないため、標準的なキャリブレーション指標の根拠が揺らぐ。
• ドメイン外データで訓練されたモデルは、誤りコストが上昇するにつれて価値が急速に低下する一方、ドメイン内単純モデルは優れた性能を維持する。
• 価値曲線は、最適なモデルが用途に依存することを示しており、ある用途（例：DVD）で最適なモデルが、別の用途（例：キッチン）では最適でない可能性があるため、文脈依存性が顕著である。