[논문 리뷰] Prediction and outlier detection in classification problems

Leying Guan, Rob Tibshirani|arXiv (Cornell University)|2019. 05. 10.

Advanced Statistical Methods and Models인용 수 5

한 줄 요약

이 논문은 유한 샘플 커버리지 보장을 갖는 다중 분류를 위한 conformal prediction 방법인 BCOPS를 제안한다. BCOPS는 예측 집합을 구성함으로써 외곽값을 탐지하며, 샘플 외부 손실을 최적화하면서 클래스 커버리지의 균형을 유지함으로써 분포 이탈 상황에서도 분포 가정 없이 강건성을 향상시킨다.

ABSTRACT

We consider the multi-class classification problem when the training data and the out-of-sample test data may have different distributions and propose a method called BCOPS (balanced and conformal optimized prediction sets). BCOPS constructs a prediction set $C(x)$ as a subset of class labels, possibly empty. It tries to optimize the out-of-sample performance, aiming to include the correct class as often as possible, but also detecting outliers $x$, for which the method returns no prediction (corresponding to $C(x)$ equal to the empty set). The proposed method combines supervised-learning algorithms with the method of conformal prediction to minimize a misclassification loss averaged over the out-of-sample distribution. The constructed prediction sets have a finite-sample coverage guarantee without distributional assumptions. We also propose a method to estimate the outlier detection rate of a given method. We prove asymptotic consistency and optimality of our proposals under suitable assumptions and illustrate our methods on real data examples.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터 간의 분포 불일치 문제를 다루기 위해.
• 테스트 데이터가 학습 데이터와 다를 경우에도 안정적인 예측 집합을 제공하고, 이를 통해 유한 샘플 커버리지 보장을 확보하기 위해.
• 입력 데이터가 학습 데이터에서 멀리 떨어져 있을 경우 빈 예측 집합을 반환함으로써 외곽값을 탐지하기 위해.
• 제약 최적화 프레임워크를 통해 직접적으로 오분류 손실을 최소화함으로써 샘플 외부 성능을 최적화하기 위해.
• 현실적인 데이터 분포 이탈 상황에서 예측 및 외곽값 탐지에 대해 이론적으로 탄탄하고 일관되며 최적의 방법을 제공하기 위해.

제안 방법

• BCOPS는 예측 점수에 대한 최적화를 통해 클래스 레이블의 부분집합인 예측 집합 $ C(x) $를 구성하며, 빈 집합일 수도 있다. 이는 conformal prediction 프레임워크를 기반으로 한다.
• 감독 학습 모델과 conformal prediction을 결합하여, 분포 가정 없이도 유한 샘플 커버리지 보장을 보장한다.
• 정확한 클래스 포함과 외곽값 탐지의 균형을 맞추는 손실 함수를 최적화하며, 잘못된 예측에 대한 페널티를 주고, 외곽값 입력에 대해서는 기피 행동을 장려한다.
• 모든 클래스에 대한 예측 점수의 경험적 분위수를 사용하여 결정 임계치를 정의함으로써, 교환 가능성 하에 유효한 커버리지를 확보한다.
• 주로 큰 클래스에 편향되지 않도록 클래스 간 균형 임계값 가중치 체계를 도입한다.
• 테스트 데이터에서 빈 예측 집합의 비율을 기반으로 한 플러그인 추정기를 통해 외곽값 탐지 비율을 추정한다.

실험 결과

연구 질문

• RQ1 테스트 데이터 분포가 학습 데이터와 다를 경우, 예측 방법이 높은 커버리지와 낮은 오분류 손실을 유지할 수 있는가?
• RQ2 학습 분포에서 멀리 떨어진 외곽값 테스트 샘플에 대해 분류 방법은 어떻게 탐지하고 예측을 기피할 수 있는가?
• RQ3 외곽값 탐지 기능도 수행하는 예측 집합 방법의 이론적 유한 샘플 커버리지 보장은 무엇인가?
• RQ4 분포 이탈 하에서 BCOPS는 밀도 수준 집합에 비해 성능이 어떻게 비교되는가?
• RQ5 제안된 방법은 적절한 정규성 조건 하에 渐近적으로 일관되고 최적인가?

주요 결과

• BCOPS는 데이터에 대한 어떤 분포 가정도 필요 없이 예측 집합에 대해 유한 샘플 커버리지 보장을 달성한다.
• 적절한 정규성 조건 하에서 BCOPS는 샘플 외부 오분류 손실을 渐近적으로 최소화하며, 일관성과 최적성을 입증한다.
• 실험 결과는 BCOPS가 표준 분류기와 달리, 외곽값 테스트 샘플에 대해 빈 예측 집합을 반환함으로써 외곽값을 성공적으로 탐지함을 보여준다.
• 이론적 분석을 통해 추정된 예측 집합 커버리지가 확률적으로 진짜 커버리지로 수렴하며, 수렴 속도는 밀도 추정 및 밴드위드 선택에 따라 달라진다.
• 낮은 차원의 부분공간에서 클래스가 분리되는 상황에서는 밀도 기반 방법이 적절히 기피하지 못하는 상황에서 BCOPS가 오라클 밀도 수준 집합보다 성능이 뛰어나다.
• 외곽값 탐지 비율은 낮은 편향으로 일관되게 추정되어, 분포 이탈 데이터에서 모델 신뢰도를 신뢰성 있게 평가할 수 있다.