[논문 리뷰] Soft (Gaussian CDE) regression models and loss functions

José Hernández‐Orallo|arXiv (Cornell University)|2012. 11. 05.

Statistical Methods and Inference참고 문헌 62인용 수 9

한 줄 요약

이 논문은 비대칭 손실, 거절 규칙, 입찰 기반 응용 등에서 최적의 예측을 가능하게 하기 위해 비용 감수성 회귀 문제를 위한 경량 프레임워크를 제안한다. 이는 예측을 개별 인스턴스 기반의 기대 손실 최적화를 통해 재구성함으로써 소프트(Gaussian 조건부 밀도 추정, 또는 CDE) 모델을 사용한다. 주요 기여는 임의의 날것진 회귀 모델을 두 파rameter(평균 및 분산)를 가진 소프트 모델로 변환한 후, 조건부 정규분포를 이용해 재구성된 예측을 최적화하는 일반적인 방법을 제시하는 것이다. 이는 재학습 없이도 비용 감수성 회귀 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Regression, unlike classification, has lacked a comprehensive and effective approach to deal with cost-sensitive problems by the reuse (and not a re-training) of general regression models. In this paper, a wide variety of cost-sensitive problems in regression (such as bids, asymmetric losses and rejection rules) can be solved effectively by a lightweight but powerful approach, consisting of: (1) the conversion of any traditional one-parameter crisp regression model into a two-parameter soft regression model, seen as a normal conditional density estimator, by the use of newly-introduced enrichment methods; and (2) the reframing of an enriched soft regression model to new contexts by an instance-dependent optimisation of the expected loss derived from the conditional normal distribution.

연구 동기 및 목표

• 기존 모델을 재학습 없이도 비대칭 손실, 거절 규칙, 입찰 기반 응용 등 비용 감수성 회귀 문제를 해결할 수 있도록 하는 것.
• 확률적 분류기와 유사한 전체 조건부 밀도를 출력하는 소프트 회귀 모델을 도입함으로써 분류와 회귀 간 격차를 메우는 것.
• 조건부 밀도 추정을 이용해 날것진 회귀 모델을 일반적이고 재사용 가능한 방식으로 소프트, 비용 감수성 모델로 재구성하는 방법을 제공하는 것.
• 정규 조건부 분포에서 유도된 기대 손실을 활용해 임의의 손실 함수에 대해 개별 인스턴스 기반 최적의 예측을 가능하게 하는 것.
• 이 방법이 다양한 비용 감수성 시나리오에서 기대 손실과 강인성 측면에서 기존 방법을 능가함을 보여주는 것.

제안 방법

• 조건부 분산을 추정하여 임의의 한 파rameter 날것진 회귀 모델을 두 파rameter 소프트 회귀 모델로 변환함으로써, 이를 정규 조건부 밀도 추정기(NCDE)로 간주한다.
• 기존의 회귀 기법들로부터 분산을 유도하기 위해 강화 기법을 사용하며, 이에는 직접 분산 추정, 신뢰도 또는 신뢰도 추정기, 콫라프탈 예측이 포함된다.
• 추정된 조건부 정규분포에서 유도된 기대 손실에 대한 개별 인스턴스 기반 최적화를 통해 예측을 재구성한다.
• 비대칭 손실 함수의 경우, 추정된 정규분포의 누적분포함수(CDF)와 밀도함수(PDF)를 포함하는 최소화 문제의 해로 최적의 예측을 유도한다.
• 절대 및 제곱 손실 함수의 경우, 기대 손실 함수의 일阶 조건을 풀어 닫힌 형태의 해를 도출한다.
• 추정된 평균과 분산을 사용해 각 인스턴스에 대해 재구성 함수를 적용함으로써, 새로운 운영 환경 하에서 기대 손실을 최소화하는 예측을 도출한다.

실험 결과

연구 질문

• RQ1 소프트 회귀 모델을 사용하여 재학습 없이도 일반적인 비용 감수성 회귀 문제를 다룰 수 있는 방법을 개발할 수 있는가?
• RQ2 표준 회귀 모델을 어떻게 두 파rameter 소프트 모델(평균 및 분산 추정)로 변환할 수 있는가?
• RQ3 조건부 분포가 정규분포로 추정될 때 비대칭 손실 함수에 대한 최적의 예측은 무엇인가?
• RQ4 제안된 방법이 다양한 비용 감수성 회귀 작업에서 기대 손실 측면에서 기존 방법을 능가할 수 있는가?
• RQ5 다양한 분산 추정 기법과 데이터셋에서 이 방법의 성능는 어떻게 변하는가?

주요 결과

• 제안된 소프트 회귀 프레임워크는 비대칭 및 입찰 기반 손실 함수 하에서 기대 손실을 최소화하는 데 기존 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 추정된 조건부 정규분포를 기반으로 기대 손실을 최소화하는 예측을 구하는 방식으로 최적의 예측을 달성하였으며, 절대 및 제곱 손실 함수에 대해 닫힌 형태의 해를 유도하였다.
• 비대칭 손실 함수 ℓAα의 경우 최적의 예측은 t′Φ(t′) + φ(t′) − αt′ = 0 으로 유도되며, 여기서 t′은 표준화된 예측값이며, 해는 표준 정규분포의 CDF와 PDF를 통해 도출된다.
• 제곱 손실 함수 ℓSα의 경우, 절단된 정규분포의 CDF, PDF 및 모멘트를 포함하는 더 복잡한 방정식을 풀어 최적의 예측을 찾으며, 양의 이阶 도함수로 최소값임을 확인하였다.
• 실험적 평가에서 NCDE 방법 간 성능에 통계적으로 유의미한 차이가 없었으며(Friedman 검정 p > 0.05), 분산 추정 방법의 선택에 대해 강인함을 보였다.
• 재학습 없이도 새로운 운영 환경 하에서 예측을 효과적으로 재구성할 수 있어, 동적 또는 반복적인 비용 감수성 응용에 적합하다.