[논문 리뷰] To Trust Or Not To Trust A Classifier

Heinrich Jiang, Been Kim외 2명|arXiv (Cornell University)|2018. 05. 30.

Topological and Geometric Data Analysis참고 문헌 33인용 수 185

한 줄 요약

논문은 밀도 기반으로 분류기의 예측을 수정된 최근접 이웃 분류기와 비교하는 데이터 분포 기반의 메트릭인 신뢰 점수(trust score)를 도입하며, 이 점수는 모델의 자신감보다 신뢰할 수 있는 예측과 의심스러운 예측을 더 잘 식별한다. 비대칭적이지 않은 보장과 다양한 데이터셋 및 표현에 걸친 경험적 증거를 제공한다.

ABSTRACT

Knowing when a classifier's prediction can be trusted is useful in many applications and critical for safely using AI. While the bulk of the effort in machine learning research has been towards improving classifier performance, understanding when a classifier's predictions should and should not be trusted has received far less attention. The standard approach is to use the classifier's discriminant or confidence score; however, we show there exists an alternative that is more effective in many situations. We propose a new score, called the trust score, which measures the agreement between the classifier and a modified nearest-neighbor classifier on the testing example. We show empirically that high (low) trust scores produce surprisingly high precision at identifying correctly (incorrectly) classified examples, consistently outperforming the classifier's confidence score as well as many other baselines. Further, under some mild distributional assumptions, we show that if the trust score for an example is high (low), the classifier will likely agree (disagree) with the Bayes-optimal classifier. Our guarantees consist of non-asymptotic rates of statistical consistency under various nonparametric settings and build on recent developments in topological data analysis.

연구 동기 및 목표

• 머신러닝의 안전하고 신뢰할 수 있는 사용을 촉진하기 위해 분류기 예측을 신뢰할 수 있는지 평가한다.
• 고밀도 영역에서 구축된 수정된 최근접 이웃 참조와 비교하는 신뢰 점수를 제안한다.
• 다양한 비모수 설정에서 매니폴드 및 근 매니폴드 데이터 포함에 대한 비점근적 보장을 제공한다.
• 여러 데이터셋, 모델, 표현에서 신뢰 점수의 효과를 실증적으로 입증한다.

제안 방법

• 각 클래스별 alpha-고밀도 집합을 k-NN 밀도 추정으로 낮은 밀도 샘플을 필터링하여 정의한다.
• 테스트 포인트와 다른 클래스의 alpha-고밀도 집합까지의 거리와 예측된 클래스의 alpha-고밀도 집합까지의 거리의 비로 신뢰 점수를 산출한다.
• alpha-고밀도 집합 추정 알고리즘(알고리즘 1) 및 신뢰 점수 계산 알고리즘(알고리즘 2)을 제공한다.
• 거리 계산은 원시 입력, 임베딩, 또는 중간 네트워크 계층 등 어떤 표현에서도 가능하다.
• 두 개의 하이퍼파라미터 k(이웃 수)와 alpha(밀도 분수)를 사용하며, 실제로는 교차 검증으로 alpha를 선택한다.
• Algorithm 1에 대해 완전 차원 및 매니폴드 설정에서의 비점근적 일관성 결과를 입증하고, 완전 차원 노이즈 케이스로 확장한다; 신뢰 점수 보장은(정리 4) 잘 behaved한 클래스 여백 조건 하에서 증명된다.

실험 결과

연구 질문

• RQ1 밀도 필터링된 최근접 이웃 거리 기반의 신뢰 점수가 분류기의 예측이 신뢰되어야 하는지 판단하는 데 모델의 자체 자신감보다 더 잘 작동하는가?
• RQ2 높은/낮은 신뢰 점수가 Bayes-최적 분류기와의 일치 여부 및 불일치 여부는 어떤 조건에서이며, 완전 차원, 매니폴드, 노이즈 매니폴드 등 다양한 데이터 기하학에서의 추정 속도는 어떻게 되는가?
• RQ3 신뢰 점수가 서로 다른 데이터 표현과 모델 계열(신경망, 랜덤 포레스트, 로지스틱 회귀) 및 차원에서 어떻게 작동하는가?
• RQ4 밀도 기반 신뢰 점수의 이론적 보장과 ML 예측에서의 신뢰성 및 안전성에 대한 실용적 시사점은 무엇인가?

주요 결과

• 신뢰 점수는 모델의 자신감보다도 종종 올바르게 분류된 예제를 더 높은 정확도로 식별하는 데 도움이 되며, 특히 저차원에서 중간 차원 공간에서 두드러진다.
• 높은 신뢰 점수가 Bayes-최적 분류기와 일치하는 경향이 있고, 낮은 점수는 가벼운 분포 가정 아래 불일치하는 경향이 있다(이론적 보장).
• alpha-고밀도 집합의 추정 속도는 내재 차원에 의존하며, 매니폴드에서 속도는 매니폴드 차원 d에 맞춰 확장되며, 근접 매니폴드 노이즈에서도 외부 차원 D에 독립적일 수 있다.
• Algorithm 1은 규칙성 가정 하에 alpha-고밀도 집합의 Hausdorff 일관 추정을 달성하며, 매니폴드 구조에 적응하는 속도를 보인다.
• Algorithm 2는 마진 조건을 고려할 때 신뢰 점수가 Bayes-최적 분류기와의 정렬을 올바르게 나타낼 확률적 보장을 제공한다.
• 실험적으로 신뢰 점수는 UCI 데이터셋 및 CPU/GPU 벤치마크에서 모델의 자신감보다 더 나은 성능을 보이며, 중간 신경망 계층을 포함한 표현에서도 우수하다.