[論文レビュー] Insights into Performance Fitness and Error Metrics for Machine Learning

M.Z. Naser, Amir H. Alavi|arXiv (Cornell University)|May 17, 2020

Machine Learning and Data Classification参考文献 94被引用数 38

ひとこと要約

この論文は、機械学習における回帰と分類の性能適合性と誤差指標を一般的に用いられるものとして調査し、工学的応用とモデル評価を強調します。

ABSTRACT

Machine learning (ML) is the field of training machines to achieve high level of cognition and perform human-like analysis. Since ML is a data-driven approach, it seemingly fits into our daily lives and operations as well as complex and interdisciplinary fields. With the rise of commercial, open-source and user-catered ML tools, a key question often arises whenever ML is applied to explore a phenomenon or a scenario: what constitutes a good ML model? Keeping in mind that a proper answer to this question depends on a variety of factors, this work presumes that a good ML model is one that optimally performs and best describes the phenomenon on hand. From this perspective, identifying proper assessment metrics to evaluate performance of ML models is not only necessary but is also warranted. As such, this paper examines a number of the most commonly-used performance fitness and error metrics for regression and classification algorithms, with emphasis on engineering applications.

研究の動機と目的

• 性能と記述的視点の観点から、良い機械学習モデルとは何かを定義する。
• 回帰と分類で一般的に用いられる性能指標を特定し、比較する。
• 工学的文脈における指標の適合性と解釈について論じる。
• 異なる機械学習問題に適した指標を選択する際の指針を提供する。

提案手法

• 一般的に用いられる回帰および分類指標をレビューし critiqueする。
• 指標がモデルの性能と現象の記述をどのように表すかを論じる。
• 工学的応用における指標選択の考慮事項を強調する。
• 指標の特性をモデル評価の目的と潜在的落とし穴に関連づけて説明する。

実験結果

リサーチクエスチョン

• RQ1 MLで回帰と分類モデルを評価する際に一般的に用いられる指標は何か？
• RQ2 これらの指標は基礎となる現象を説明するモデルの能力をどのように反映するか？
• RQ3 工学的応用における性能指標の選択を導く基準は何か？
• RQ4 典型的な指標の長所と限界はMLタスク全般でどのようなものか？

主な発見

• 本研究は、MLタスクの性能適合性と誤差指標の幅広い調査を行っている。
• 指標の選択がパフォーマンスと現象の記述の両方にとって重要であることを強調している。
• 工学的文脈における指標の解釈と適合性を特に論じている。
• 回帰と分類の複数の指標を認めつつ、単一の最良の選択を推奨していない。
• 異なるMLシナリオに適した指標選択の指針を提供している。
• 本文には指標と結果を組織する可能性のある2つの表が存在することを指摘している。