[論文レビュー] Performance Metrics (Error Measures) in Machine Learning Regression, Forecasting and Prognostics: Properties and Typology

Alexei Botchkarev|arXiv (Cornell University)|Sep 9, 2018

Forecasting Techniques and Applications参考文献 28被引用数 386

ひとこと要約

本論文は機械学習の回帰、予測、予後における性能指標（誤差測定）を概観し、指標選択を支援するタイポロジーを提案する。四カテゴリーのフレームワークを導入し、主要指標を形成する主要な要素を特定する。

ABSTRACT

Performance metrics (error measures) are vital components of the evaluation frameworks in various fields. The intention of this study was to overview of a variety of performance metrics and approaches to their classification. The main goal of the study was to develop a typology that will help to improve our knowledge and understanding of metrics and facilitate their selection in machine learning regression, forecasting and prognostics. Based on the analysis of the structure of numerous performance metrics, we propose a framework of metrics which includes four (4) categories: primary metrics, extended metrics, composite metrics, and hybrid sets of metrics. The paper identified three (3) key components (dimensions) that determine the structure and properties of primary metrics: method of determining point distance, method of normalization, method of aggregation of point distances over a data set.

研究の動機と目的

• 回帰、予測、および予後全般にわたる誤差指標の包括的な概観の必要性を喚起する。
• これらの領域における指標の理解と選択を改善するための類型化を開発する。
• 性能指標の構造を分析して、支配的な次元と特性を特定する。

提案手法

• 文献と実務から既存の性能指標を分析する。
• 指標内の構造的パターンと分類を特定する。
• 主要指標、拡張指標、複合指標、ハイブリッドセットの4つの指標カテゴリーをもつフレームワークを提案する。
• 主要指標の特性を決定する3つの重要な次元を明確にする：距離/非類似度の計算方法、正規化方法、データ集合における集計方法。

実験結果

リサーチクエスチョン

• RQ1 回帰、予測、予後で用いられる性能指標の主要なカテゴリーと構造は何か？
• RQ2 機械学習評価における指標をどのように分類すれば選択と理解を改善できるか？
• RQ3 主要誤差指標の特性を決定する基本的な次元は何か？

主な発見

• 指標の四カテゴリー類型が提案される：主要指標、拡張指標、複合指標、ハイブリッド指標セット。
• 3つの次元が主要指標の構造を決定する：点間の距離の計算方法、距離の正規化方法、データセット全体での距離の集約方法。
• このフレームワークは、ML評価における指標の知識・解釈・選択をより良く支援することを目的とする。
• 本研究は、分野を横断するさまざまな誤差測定を比較・対比する整理の視点を提供する。