[논문 리뷰] Obtaining Calibrated Probabilities from Boosting

Alexandru Niculescu-Mizil, Rich Caruana|arXiv (Cornell University)|2012. 07. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 155

한 줄 요약

이 논문은 부스팅 알고리즘, 특히 AdaBoost에서 발생하는 확률 출력의 캘리브레이션 오차를 조사하며, 보정 기법으로 플랫팅 스케일링(Platt Scaling), 이소톤릭 리그레션(Isotonic Regression), 로지스틱 보정(Logistic Correction)을 평가하여 사후 확률 추정치를 향상시킨다. 연구 결과, 플랫팅 스케일링과 이소톤릭 리그레션은 결정식(stump)과 같은 약한 학습기에서 특히 유의미하게 확률 캘리브레이션을 향상시키지만, 로지스틱 보정과 로그 손실 부스팅은 복잡한 모델에서는 성능이 열 劣하다.

ABSTRACT

Boosted decision trees typically yield good accuracy, precision, and ROC area. However, because the outputs from boosting are not well calibrated posterior probabilities, boosting yields poor squared error and cross-entropy. We empirically demonstrate why AdaBoost predicts distorted probabilities and examine three calibration methods for correcting this distortion: Platt Scaling, Isotonic Regression, and Logistic Correction. We also experiment with boosting using log-loss instead of the usual exponential loss. Experiments show that Logistic Correction and boosting with log-loss work well when boosting weak models such as decision stumps, but yield poor performance when boosting more complex models such as full decision trees. Platt Scaling and Isotonic Regression, however, significantly improve the probabilities predicted by

연구 동기 및 목표

• 강력한 정확도와 ROC 성능에도 불구하고 부스팅된 결정 트리에서 발생하는 잘못 캘리브레이션된 확률로 인해 제곱 오차 및 교차 엔트로피 지표에서 성능이 열 劣하는 문제를 해결하기 위해.
• AdaBoost가 강력한 정확도와 ROC 성능을 보이지만 왜 왜곡된 확률 추정치를 생성하는지 조사하기 위해.
• 세 가지 캘리브레이션 기법—플랫팅 스케일링, 이소톤릭 리그레션, 로지스틱 보정—이 확률 캘리브레이션 오차를 수정하는 데 얼마나 효과적인지 평가하기 위해.
• 부스팅 프레임워크에서 지수 손실 대신 로그 손실을 사용할 경우 모델 출력의 내재적 캘리브레이션 향상 여부를 조사하기 위해.
• 각 캘리브레이션 방법이 최적의 성능을 발휘하는 조건, 특히 기저 학습기의 복잡성과의 관계를 규명하기 위해.

제안 방법

• 부스팅 알고리즘의 출력 점수 행동을 분석하여 AdaBoost에서 발생하는 확률 왜곡의 근본 원인을 경험적으로 분석하기 위해.
• 플랫팅 스케일링을 적용하여 원시 점수를 캘리브레이션된 확률로 매핑하는 비모수적 방법을 사용하기 위해.
• 이소톤릭 리그레션을 적용하여 점수에 대해 조각별로 일정하고 비감소하는 함수를 피팅하여 캘리브레이션을 수행하기 위해.
• 로지스틱 보정을 구현하여 부스팅 모델의 출력에 대해 로지스틱 회귀를 수행하여 확률을 재추정하기 위해.
• 학습 중에 지수 손실 대신 로그 손실을 사용하도록 부스팅 알고리즘을 수정하여 모델 출력의 내재적 캘리브레이션을 향상시키기 위해.
• Brier 점수와 로그 손실 등의 지표를 사용하여 여러 데이터셋에서 모든 방법의 캘리브레이션 품질을 평가하기 위해.

실험 결과

연구 질문

• RQ1 강력한 분류 성능을 보이지만 왜 부스팅 모델인 AdaBoost가 잘못 캘리브레이션된 확률을 생성하는가?
• RQ2 플랫팅 스케일링, 이소톤릭 리그레션, 로지스틱 보정은 부스팅 알고리즘의 확률 출력을 얼마나 효과적으로 캘리브레이션하는가?
• RQ3 부스팅 프레임워크에서 지수 손실을 로그 손실로 대체할 경우 모델 출력의 내재적 캘리브레이션 향상 여부는 어떠한가?
• RQ4 기저 학습기의 복잡성(예: 결정식 대비 전체 결정 트리)은 다양한 캘리브레이션 기법의 성능에 어떤 영향을 미치는가?
• RQ5 플랫팅 스케일링과 이소톤릭 리그레션은 로지스틱 보정과 로그 손실 부스팅보다 어떤 조건에서 더 우수한 성능을 발휘하는가?

주요 결과

• 플랫팅 스케일링과 이소톤릭 리그레션은 결정식과 같은 약한 학습기를 사용할 경우 부스팅에서 생성된 확률 추정치의 캘리브레이션을 크게 향상시킨다.
• 로지스틱 보정과 로그 손실 부스팅은 약한 모델을 부스팅할 땐 잘 작동하지만, 전체 결정 트리와 같은 더 복잡한 모델에 적용될 경우 성능이 떨어진다.
• 지수 손실을 사용하는 원래의 AdaBoost 알고리즘은 심각하게 잘못 캘리브레이션된 확률을 생성하여 Brier 점수가 높고 로그 손실 성능이 열 劣하다.
• 이소톤릭 리그레션은 비선형 결정 경계를 가진 데이터셋에서 플랫팅 스케일링보다 일반적으로 더 우수한 캘리브레이션 품질을 보인다.
• 캘리브레이션 방법의 선택은 기저 추정기의 복잡성에 따라 달라져야 하며, 더 강력한 모델은 더 견고한 캘리브레이션 기법이 필요하다.
• 경험적 결과에 따르면, 이소톤릭 리그레션을 통한 후처리로 인해 캘리브레이션되지 않은 AdaBoost 출력 대비 Brier 점수를 최대 50%까지 감소시킬 수 있다.