[논문 리뷰] A graphical analysis of cost-sensitive regression problems

José Hernández‐Orallo|arXiv (Cornell University)|2012. 11. 10.

Imbalanced Data Classification Techniques참고 문헌 51인용 수 57

한 줄 요약

이 논문은 비용 감수성 회귀를 위한 새로운 그래픽 프레임워크인 회귀 ROC(RROC) 공간을 소개한다. 이는 과소추정과 과대추정을 그림으로 표현하는 방식으로, 분류에서의 임계값과 유사한 이동 파라미터를 사용하여 다양한 운영 조건에서 모델 성능을 시각화할 수 있도록 한다. 주요 발견은 RROC 곡선 아래 면적(AOC)이 오차 분산과 정확히 일치하며(상수 인자에 비례), RROC 분석이 기본적인 회귀 지표와 직접 연결됨을 보여준다.

ABSTRACT

Several efforts have been done to bring ROC analysis beyond (binary) classification, especially in regression. However, the mapping and possibilities of these proposals do not correspond to what we expect from the analysis of operating conditions, dominance, hybrid methods, etc. In this paper we present a new representation of regression models in the so-called regression ROC (RROC) space. The basic idea is to represent over-estimation on the x axis and under-estimation on the y axis. The curves are just drawn by adjusting a shift, a constant that is added (or subtracted) to the predictions, and plays a similar role as a threshold in classification. From here, we develop the notions of optimal operating condition, convexity, dominance, and explore several evaluation metrics that can be shown graphically, such as the area over the RROC curve (AOC). In particular, we show a novel and significant result, the AOC is equal to the error variance (multiplied by a factor which does not depend on the model). The derivation of RROC curves with non-constant shifts and soft regression models, and the relation with cost plots is also discussed.

연구 동기 및 목표

• 비대칭 손실 함수 하에서 회귀에 대한 표준 ROC 유사 그래픽 분석의 부재를 해결하기 위해.
• 분류와 유사하게, 비용 비대칭성을 사용하여 회귀에서의 운영 조건 개념을 체계화하기 위해.
• 우열, 볼록껍데기, 하이브리드 모델과 같은 개념을 지원하는 그래픽 프레임워크인 RROC 공간을 개발하기 위해.
• RROC 곡선 아래 면적(AOC)과 오차 분산 간의 직접적 연결을 확립하여, 회귀 평가에 대한 새로운 해석적 시각을 제공하기 위해.
• 다양한 비용 조건에 적응할 수 있도록 이동 기반 적응을 가능하게 하여 회귀 모델의 실용적 구현을 촉진하기 위해.

제안 방법

• 과소추정을 x축, 과대추정을 y축으로 하는 RROC 공간을 제안하여 오류 유형의 이중 표현을 구축한다.
• 분류에서의 임계값과 유사한 이동 파라미터를 도입하여 예측치를 다양한 운영 조건에 맞게 조정할 수 있도록 한다.
• 예측값에 일정한 값을 더함으로써 이동 파라미터를 변화시켜 RROC 곡선을 생성하고, 다양한 비용 비율에서의 성능을 시각화한다.
• 비대칭 손실 함수에 기반하여 동일한 비용을 가진 영역을 나타내는 등가비용선(isometrics)을 정의한다.
• RROC 곡선의 볼록껍데기를 유도하여 개별 모델을 초월하는 하이브리드 회귀 모델을 구성한다.
• RROC 곡선 아래 면적(AOC)이 오차 분산과 수학적으로 동일함을 증명한다(모델에 독립적인 인자에 비례).

실험 결과

연구 질문

• RQ1 분류에서의 ROC 곡선과 유사한 해석 가능성과 유용성을 지닌, 회귀 모델의 그래픽 표현을 개발할 수 있는가?
• RQ2 특히 비용 비대칭성을 고려할 때, 회귀에서의 운영 조건 개념은 어떻게 체계화되고 시각화될 수 있는가?
• RQ3 RROC 공간에서의 AOC와 오차 분산과 같은 기본적인 회귀 지표 간의 관계는 무엇인가?
• RQ4 우열, 볼록껍데기, 하이브리드 모델과 같은 개념들이 RROC 공간에 의해 분류에서 회귀로 어떻게 확장될 수 있는가?
• RQ5 RROC 공간에서의 이동 기반 조정은 새로운 배포 조건에 적응하기 위한 실용적인 방법이 될 수 있는가?

주요 결과

• RROC 곡선 아래 면적(AOC)은 모델에 독립적인 상수 인자에 의해 스케일링된, 회귀 모델의 오차 분산과 정확히 수학적으로 동일하다.
• RROC 공간은 분류 ROC와 동일한 핵심 개념을 지원한다: 운영 조건, 우열, 볼록껍데기, 하이브리드 모델.
• RROC에서의 이동 파라미터는 분류에서의 임계값과 유사하게 작용하여, 다양한 비용 비율에 맞게 모델을 적응시킬 수 있다.
• 이동 파라미터를 변화시켜 알고리즘적으로 RROC 곡선을 생성할 수 있으며, 이는 다양한 비용 비대칭성에서의 연속적인 성능 시각화를 가능하게 한다.
• 볼록껍데기를 통해 하이브리드 회귀 모델을 구성할 수 있으며, 이는 다양한 운영 조건에서 최적의 성능을 보장한다.
• RROC 프레임워크는 그래픽 분석과 오차 분산, MSE 분해와 같은 핵심 회귀 지표 사이에 직접적이고 해석 가능한 연결 고리를 제공한다.