[논문 리뷰] Performance Metrics (Error Measures) in Machine Learning Regression, Forecasting and Prognostics: Properties and Typology

Alexei Botchkarev|arXiv (Cornell University)|2018. 09. 09.

Forecasting Techniques and Applications참고 문헌 28인용 수 386

한 줄 요약

본 논문은 기계 학습 회귀, 예측 및 예후에서의 성능 지표(오차 척도)를 개관하고, 지표 선택을 돕기 위한 유형학을 제시한다. 네 가지 범주 프레임워크를 도입하고 기본 지표를 형성하는 주요 구성 요소를 식별한다.

ABSTRACT

Performance metrics (error measures) are vital components of the evaluation frameworks in various fields. The intention of this study was to overview of a variety of performance metrics and approaches to their classification. The main goal of the study was to develop a typology that will help to improve our knowledge and understanding of metrics and facilitate their selection in machine learning regression, forecasting and prognostics. Based on the analysis of the structure of numerous performance metrics, we propose a framework of metrics which includes four (4) categories: primary metrics, extended metrics, composite metrics, and hybrid sets of metrics. The paper identified three (3) key components (dimensions) that determine the structure and properties of primary metrics: method of determining point distance, method of normalization, method of aggregation of point distances over a data set.

연구 동기 및 목표

• 회귀, 예측 및 예후 전반에 걸친 오차 측정에 대한 포괄적 개요의 필요성을 제시한다.
• 이들 영역에서 지표의 이해와 선택을 개선하기 위한 유형학을 개발한다.
• 성능 지표의 구조를 분석하여 지배 차원과 특성을 식별한다.

제안 방법

• 문헌 및 실무에서 기존의 성능 지표를 분석한다.
• 지표 내의 구조적 패턴과 분류를 식별한다.
• 네 가지 지표 범주: 기본 지표, 확장 지표, 합성 지표, 하이브리드 집합으로 구성된 프레임워크를 제안한다.
• 기본 지표 특성을 결정하는 세 가지 핵심 차원: 거리(또는 비유사성) 계산 방법, 정규화 방법, 데이터 세트에 대한 거리의 집계 방법을 구분한다.

실험 결과

연구 질문

• RQ1 회귀, 예측 및 예후에 사용되는 성능 지표의 주요 범주와 구조는 무엇인가?
• RQ2 지표를 어떻게 분류하면 ML 평가에서의 선택과 이해를 향상시킬 수 있는가?
• RQ3 기본 오차 지표의 특성을 결정하는 기본 차원은 무엇인가?

주요 결과

• 지표의 네 가지 범주 유형이 제안된다: 기본 지표, 확장 지표, 합성 지표, 하이브리드 지표 세트.
• 세 가지 차원이 기본 지표 구조를 결정한다: 점 간 거리가 어떻게 계산되는지, 거리가 어떻게 정규화되는지, 그리고 거리가 데이터 세트에서 어떻게 집계되는지.
• 이 프레임워크는 ML 평가에서 지표에 대한 더 나은 지식, 해석 및 선택을 촉진하는 것을 목표로 한다.
• 본 연구는 도메인 간 서로 다른 오차 척도를 비교·대비하기 위한 조직화된 관점을 제공한다.