[논문 리뷰] Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|2021. 08. 19.

Advanced Bandit Algorithms Research참고 문헌 41인용 수 6

한 줄 요약

이 논문은 분류 오차를 최소화하기 위해 이진 분류기 점수를 최적의 방법으로 校正하기 위한 순차적 재귀 병합 알고리즘을 제안한다. 최적의 단조적 매핑이 임계값 함수(0 또는 1 확률)임을 증명하고, 각 신규 샘플당 $O(\log N)$의 시간 복잡도를 달성하여, 클래스 가중치 및 샘플 가중치가 포함된 일반 선형 손실을 포함한 최초의 최적 효율적 순차 캘리브레이션 방법이 된다.

ABSTRACT

In this work, we aim to calibrate the score outputs of an estimator for the binary classification problem by finding an 'optimal' mapping to class probabilities, where the 'optimal' mapping is in the sense that minimizes the classification error (or equivalently, maximizes the accuracy). We show that for the given target variables and the score outputs of an estimator, an 'optimal' soft mapping, which monotonically maps the score values to probabilities, is a hard mapping that maps the score values to $0$ and $1$. We show that for class weighted (where the accuracy for one class is more important) and sample weighted (where the samples' accurate classifications are not equally important) errors, or even general linear losses; this hard mapping characteristic is preserved. We propose a sequential recursive merger approach, which produces an 'optimal' hard mapping (for the observed samples so far) sequentially with each incoming new sample. Our approach has a logarithmic in sample size time complexity, which is optimally efficient.

연구 동기 및 목표

• 분류기 점수 출력에서 클래스 확률로의 최적 단조적 매핑을 찾고, 이를 통해 분류 오차를 최소화한다.
• 표준 정확도를 초월해 클래스 가중치, 샘플 가중치 및 일반 선형 손실에 대한 최적 캘리브레이션을 확장한다.
• 각 신규 샘플이 도착할 때마다 최적의 임계값을 효율적으로 업데이트할 수 있는 순차적 온라인 알고리즘을 개발한다.
• 동적 캘리브레이션을 위해 각 신규 샘플당 최적의 시간 복잡도인 $O(\log N)$을 달성한다.
• 재학습 없이도 분류 성능를 유지하면서 캘리브레이션을 향상시키는 후처리 솔루션을 제공한다.

제안 방법

• 신규 샘플이 도착할 때마다 동적으로 업데이트되는 최적의 임계값을 유지하기 위한 순차적 재귀 병합 알고리즘을 제안한다.
• 샘플 하위집합과 그 손실 기여도를 나타내는 보조 집합 $\mathcal{B} = \{X_0, X_1, L_0, L_1\}$을 사용하는 데이터 구조를 활용한다.
• 재귀적 조합 과정에서 $L_1^0 + L_0^1$의 부호에 기반한 병합 규칙을 적용하여 최적의 임계값을 결정한다.
• 깊이가 $O(\log N)$로 제한된 하향식 재귀를 통해, 로그 시간 복잡도를 보장한다.
• 점수 값의 순서가 유지되고 인접한 파artitions가 형성되도록 하여 매핑의 단조성을 유지한다.
• 재귀 과정을 통해 손실 및 경계 정보를 局부적으로 전파함으로써 각 업데이트에 $O(1)$의 시간 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 분류 오차를 최소화하기 위한 분류기 점수에서의 최적 단조적 매핑은 무엇인가?
• RQ2 클래스 가중치 또는 샘플 가중치 오차 측정 기준 하에서 최적의 매핑이 여전히 임계값 함수일까?
• RQ3 각 신규 샘플당 $O(\log N)$ 시간 복잡도로 최적의 임계값을 유지할 수 있는 온라인 순차 알고리즘이 가능한가?
• RQ4 효율적이고 최적의 업데이트를 가능하게 하는 재귀적 데이터 구조가 존재하는가?
• RQ5 표준 정확도를 초월해 임의의 일반 선형 손실 함수로 일반화할 수 있는가?

주요 결과

• 분류 오차를 최소화하기 위한 최적의 캘리브레이션 매핑은 모든 점수를 0 또는 1로 매핑하는 하드 임계값 함수이다.
• 이러한 임계값 성질은 클래스 가중치, 샘플 가중치 및 일반 선형 손실 함수 모두에 대해 유지된다.
• 제안된 순차적 재귀 병합 알고리즘은 각 신규 샘플당 $O(\log N)$의 시간 복잡도를 달성하여, 최적 효율성을 확보한다.
• 보조 손실 집합을 사용해 순서가 유지되는 점수 파artitions를 재귀적으로 병합함으로써 최적의 임계값을 유지한다.
• 재귀의 깊이는 $O(\log N)$로 제한되어 있어, 순서가 무작위로 도착하는 경우에도 로그 시간 복잡도를 보장한다.
• 손실 및 경계 정보의 국부적 전파 덕분에 각 업데이트 연산은 $O(1)$ 시간 복잡도를 가진다.