[논문 리뷰] Using the Mean Absolute Percentage Error for Regression Models

Arnaud De Myttenaere, Boris Golden외 2명|arXiv (Cornell University)|2015. 06. 12.

Control Systems and Identification참고 문헌 3인용 수 35

한 줄 요약

이 논문은 회귀에서 평균 절대 퍼센트 오차(MAPE)를 최소화하는 것이 타겟 값에 반비례하는 가중치를 가진 가중 평균 절대 오차(MAE) 회귀와 동치임을 밝혀낸다. 또한 MAPE 기반의 경험적 리스크 최소화가 온건한 조건 하에서 보편적 일致성을 갖는다는 것을 증명하여, 타겟 변수가 0에서 벗어나 있을 경우 신뢰할 수 있는 모델 학습이 가능함을 보여준다.

ABSTRACT

We study in this paper the consequences of using the Mean Absolute Percentage Error (MAPE) as a measure of quality for regression models. We show that finding the best model under the MAPE is equivalent to doing weighted Mean Absolute Error (MAE) regression. We show that universal consistency of Empirical Risk Minimization remains possible using the MAPE instead of the MAE.

연구 동기 및 목표

• MSE나 MAE 대신 MAPE를 회귀 손실 함수로 사용할 때의 이론적 및 실용적 영향을 조사하기 위해.
• MAPE를 최소화하는 것이 개별 예측에 따라 가중치가 부여된 가중 MAE 회귀 문제를 해결하는 것과 동치임을 보여주기 위해.
• MAPE 손실 함수 하에서 경험적 리스크 최소화(ERM)의 보편적 일치성을 확립하기 위해.
• 타겟 변수의 범위(특히 |Y|의 하한)가 MAPE 기반 학습의 일치성에 미치는 영향을 분석하기 위해.
• 표준 학습 프레임워크 하에서 MSE 및 MAE에 대해 확보된 이론적 보장을 MAPE 설정으로 확장할 수 있는지 탐색하기 위해.

제안 방법

• 나눗셈 by zero에 대한 약속을 포함하여 $ l_{MAPE}(p,y) = \frac{|p - y|}{|y|} $ 로 MAPE 손실을 수식적으로 정의한다.
• 경험적 MAPE 최소화가 각 샘플이 $ \frac{1}{|Y_i|} $ 에 비례하는 가중치를 갖는 가중 MAE 회귀 문제를 해결하는 것과 동치임을 보여준다.
• 커버링 수와 VC 차원을 포함한 표준 통계적 학습 이론 기법을 적용하여 경험적 리스크와 진짜 리스크 간의 편차를 근사한다.
• 대칭화 및 농도 불등식을 통해 지수 꼬리 경계를 활용하여 MAPE 하에서 ERM의 일치 조건을 유도한다.
• MAPE 하에서의 가설 클래스의 VC 차원이 MAE 하에서의 것보다 유계임을 증명하여 이론적 취급 가능성과 일치 보장을 유지한다.
• 모델 클래스가 점점 커지고 VC 차원이 증가하며 무한한 경우, $ \lim_{n\to\infty} \frac{v_n B_{G_n}^2 \log B_{G_n}}{n} = 0 $ 과 $ |Y| \geq \lambda > 0 $ 거의 확실히 성립할 경우, MAPE 리스크가 최적 리스크로 거의 확실히 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 MAPE를 최소화하는 것이 알려진 회귀 공식과 동치인가? 만약 그렇다면, 해당 가중 손실은 무엇인가?
• RQ2 MAPE 손실 하에서 경험적 리스크 최소화가 통계적 학습 이론에서 보편적 일치성을 달성할 수 있는가?
• RQ3 타겟 변수의 범위(특히 |Y|의 하한)가 MAPE 기반 학습의 일치성에 어떤 영향을 미치는가?
• RQ4 MAPE 하에서의 가설 클래스의 VC 차원과 MAE 하에서의 것 사이의 관계는 무엇인가?
• RQ5 적절한 정규성 조건 하에서 MSE 및 MAE에 대해 확보된 이론적 일致성 결과를 MAPE 설정으로 확장할 수 있는가?

주요 결과

• MAPE를 최소화하는 것은 각 학습 예제가 절대 타겟 값의 역수에 비례하는 가중치를 갖는 가중 MAE 회귀 문제를 해결하는 것과 수학적으로 동치이다.
• 이론적 분석 결과, 타겟 변수가 0에서 벗어나 있을 경우(즉, 거의 확실히 $ |Y| \geq \lambda > 0 $) MAPE 기반의 경험적 리스크 최소화가 보편적 일치성을 갖는다.
• MAPE 하에서의 가설 클래스의 VC 차원은 MAE 하에서의 것보다 위로 유계이며, 이는 이론적 취급 가능성과 일치 보장을 유지한다.
• 조건 $ \lim_{n\to\infty} \frac{v_n B_{G_n}^2 \log B_{G_n}}{n} = 0 $ 가 성립할 경우, 점점 커지는 모델 클래스에서 일치성이 확립된다.
• 경험적 리스크 최소화가 지수 농도 경계와 편차 확률의 합산 가능성에 의해 기반하여 거의 확실히 최적 리스크로 수렴함을 입증하였다.
• 자동차 데이터셋에 대한 실용적 사례 분석을 통해 MAPE 최적화 모델이 훈련 데이터에서 가장 낮은 MAPE를 기록함으로써 이론적 동치성이 실무에서 검증됨을 확인하였다.