[논문 리뷰] Probability Calibration Trees

Tim Leathart, Eibe Frank외 2명|arXiv (Cornell University)|2018. 07. 31.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 로지스틱 모델 트리를 사용하여 입력 공간의 서로 다른 영역에서 국소 캘리브레이션 모델을 학습하는 방법인 확률 캘리브레이션 트리를 제안한다. 이는 플랫팅 스케일링과 이소톤 회귀와 같은 전역 방법보다 우수한 성능을 보이며, 다양한 기본 학습기에서 루트 평균 제곱 오차(RMSE)가 유의미하게 낮아진다.

ABSTRACT

Obtaining accurate and well calibrated probability estimates from classifiers is useful in many applications, for example, when minimising the expected cost of classifications. Existing methods of calibrating probability estimates are applied globally, ignoring the potential for improvements by applying a more fine-grained model. We propose probability calibration trees, a modification of logistic model trees that identifies regions of the input space in which different probability calibration models are learned to improve performance. We compare probability calibration trees to two widely used calibration methods---isotonic regression and Platt scaling---and show that our method results in lower root mean squared error on average than both methods, for estimates produced by a variety of base learners.

연구 동기 및 목표

• 모든 입력 영역에서 균일한 캘리브레이션을 가정하는 전역 확률 캘리브레이션 방법의 한계를 해결하기 위해.
• 고차원 입력 공간에서 영역별로 특화된 캘리브레이션 모델을 학습하여 캘리브레이션 정확도를 향상시키기 위해.
• 기존 캘리브레이션 기법들보다 확률 추정치의 루트 평균 제곱 오차(RMSE)를 줄이기 위해.
• 나이브 베이즈, 부스팅된 스탭스, 서포트 벡터 머신(SVMs)과 같은 다양한 기본 분류기에서 국소 캘리브레이션 모델의 효과를 평가하기 위해.

제안 방법

• 이 방법은 원래의 예측 변수 속성을 기반으로 입력 공간을 순차적으로 분할하는 로지스틱 모델 트리를 사용한다.
• 각 잎 노드에서는 기본 학습기의 출력 점수를 기반으로 국소적으로 확률을 캘리브레이션하기 위해 로지스틱 회귀 모델을 훈련한다.
• 트리 구조는 입력 공간의 서로 다른 영역에서 서로 다른 캘리브레이션 함수를 학습할 수 있도록 한다.
• 추론 과정은 적절한 잎 노드로 트리를 따라가며, 해당 노드의 로지스틱 회귀 모델을 기본 학습기의 점수에 적용하는 방식이다.
• 각 노드에서 로지스틱 모델을 훈련하기 위해 독립된 캘리브레이션 데이터셋을 사용함으로써 과적합을 방지한다.
• RMSE와 신뢰성 다이어그램을 사용하여 플랫팅 스케일링과 이소톤 회귀와의 비교를 통해 캘리브레이션 품질을 평가한다.

실험 결과

연구 질문

• RQ1 국소 확률 캘리브레이션 모델은 플랫팅 스케일링과 이소톤 회귀와 같은 전역 캘리브레이션 방법보다 우수한 성능을 보일 수 있는가?
• RQ2 입력 공간을 영역으로 분할하고 영역별로 캘리브레이션을 적용하는 것이 전체 확률 캘리브레이션 성능을 향상시키는가?
• RQ3 나이브 베이즈, 부스팅된 스탭스, 서포트 벡터 머신(SVMs)과 같은 다양한 기본 분류기에서 확률 캘리브레이션 트리의 성능은 어떻게 변화하는가?
• RQ4 신뢰성 다이어그램을 통해 확률 캘리브레이션 트리가 기존 방법보다 더 나은 캘리브레이션 행동을 보이는 정도는 어느 정도인가?
• RQ5 이 방법은 어떤 조건에서 전역 캘리브레이션 기법보다 RMSE를 더 효과적으로 감소시키는가?

주요 결과

• 모든 기본 학습기 평균에서 확률 캘리브레이션 트리는 플랫팅 스케일링과 이소톤 회귀보다 유의미하게 낮은 루트 평균 제곱 오차(RMSE)를 달성했다.
• 나이브 베이즈의 경우, 플랫팅 스케일링과의 비교에서 32번의 비교 중 27번에서 승리했으며, p-value는 < 0.00001이었다. 이소톤 회귀와의 비교에서는 32번 중 23번에서 승리했고, p-value는 0.000088이었다.
• 부스팅된 스탭스의 경우, 플랫팅 스케일링과의 비교에서 32번 중 11번에서 승리했으며, p < 0.001이었다. 이소톤 회귀와의 비교에서는 32번 중 8번에서 승리했고, p < 0.005였다.
• 신뢰성 다이어그램은 확률 캘리브레이션 트리가 매끄럽고 대각선에 가까운 곡선을 생성하여 뛰어난 캘리브레이션 성능을 보였으며, 이소톤 회귀는 불규칙한 곡선을 생성했고, 플랫팅 스케일링은 원래 분류기의 캘리브레이션 오류 형태를 유지했다.
• 확률 캘리브레이션 트리가 루트 노드로 간소화된 경우, 플랫팅 스케일링과 유사한 성능을 보였으며, 이는 국소적 구조가 없을 경우 전역 캘리브레이션이 충분하다는 것을 시사한다.
• 이 방법은 'sick'과 'kr-vs-kp'와 같은 불균형 데이터셋 포함 다양한 데이터셋과 기본 학습기에서 일관된 향상을 보였다.