[논문 리뷰] PAC Confidence Predictions for Deep Neural Network Classifiers

Sangdon Park, Shuo Li외 2명|arXiv (Cornell University)|2020. 11. 02.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망 분류기의 PAC-신뢰도 예측 방법을 제안하며, 클로퍼-피어슨 구간과 히스토그램 분할을 사용하여 이론적으로 보장된 신뢰구간을 제공한다. 이 방법은 고확률 정확성 보장 하에 분포 내 캘리브레이션을 보장하여 빠른 추론과 안전한 계획 수립 응용 분야에서 증명 가능한 보장을 가능하게 하며, 엄격한 오차 및 위험 제약 조건 하에서도 정확도와 안전성을 유지하는 데 기존 기준들보다 뛰어나다.

ABSTRACT

A key challenge for deploying deep neural networks (DNNs) in safety critical settings is the need to provide rigorous ways to quantify their uncertainty. In this paper, we propose a novel algorithm for constructing predicted classification confidences for DNNs that comes with provable correctness guarantees. Our approach uses Clopper-Pearson confidence intervals for the Binomial distribution in conjunction with the histogram binning approach to calibrated prediction. In addition, we demonstrate how our predicted confidences can be used to enable downstream guarantees in two settings: (i) fast DNN inference, where we demonstrate how to compose a fast but inaccurate DNN with an accurate but slow DNN in a rigorous way to improve performance without sacrificing accuracy, and (ii) safe planning, where we guarantee safety when using a DNN to predict whether a given action is safe based on visual observations. In our experiments, we demonstrate that our approach can be used to provide guarantees for state-of-the-art DNNs.

연구 동기 및 목표

• 깊이 있는 신경망(DNN)의 신뢰도 캘리브레이션에서 이론적 보장을 제공하지 못하는 문제를 해결하기 위함이며, 특히 과신이 흔한 안전 중심 시스템에서의 적용을 목적으로 한다.
• 분포 내 가정 하에 확률적으로 근사적으로 올바른(PAC) 신뢰도 구간을 제공하는 방법을 개발하기 위함이다.
• 정확도를 희생시키지 않고 추론 속도를 향상시키기 위해 빠른 DNN와 느린 DNN의 철저한 조합을 가능하게 하기 위함이다.
• DNN 기반의 인식 모델을 사용하는 계획 작업에서 고확률 안전 보장을 확보하기 위함이다.

제안 방법

• 이 방법은 DNN의 신뢰도 점수를 히스토그램 분할로 그룹화하고, 각 그룹 내에서 정확한 예측의 경험 빈도를 적용하여 캘리브레이션을 수행한다.
• 각 그룹의 이항 비율에 대해 클로퍼-피어슨 신뢰구간을 적용하여 캘리브레이션 신뢰도의 상한과 하한을 계산한다.
• 이 구간은 테스트 분포에 대해 고확률로 정확한 것으로 입증되는 PAC-검증된 신뢰구간을 구성하는 데 사용된다.
• 이 방법은 두 가지 응용 분야에 통합되었다: (1) 오차 한계가 보장된 빠른 DNN와 느린 DNN의 조합, (2) 신뢰도 기반 임계값을 적용한 액션 선택을 통한 안전한 계획 수립.
• 이 알고리즘은 보정 데이터셋 크기 n을 사용하여 최종 모델의 오차율이 사용자 지정 임계값 ξ 이하로 유지되며, 고확률(1−δ)로 보장된다.
• 이 방법은 MACs, CPU 및 GPU 추론 시간 메트릭을 사용하여 평가되었으며, 히스토그램 분할, 소프트맥스 스케일링 및 온도 스케일링 기준들과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 분포 내 가정 하에 이론적으로 정확한 보장을 갖는 DNN 분류기의 신뢰도 예측을 구성할 수 있는가?
• RQ2 PAC-신뢰구간은 어떻게 히스토그램 분할과 효과적으로 조합되어 캘리브레이션되고 이론적으로 정확한 신뢰구간을 생성할 수 있는가?
• RQ3 제안된 방법은 사용자 지정 임계값 이하의 오차율을 보장하면서도 속도를 향상시키는 구성형 추론 전략을 가능하게 할 수 있는가?
• RQ4 신뢰도 기반 임계값을 통한 액션 필터링을 통해 이 방법은 계획 작업에서 고확률 안전 보장을 확보할 수 있는가?

주요 결과

• 제안된 방법은 모든 테스트 설정에서 원하는 오차 한계 ξ 이하의 분류 오차를 보장하며, 느린 DNN 모델 대비 추론 속도를 32% 향상시켰다.
• GPU 및 CPU에서 기준 모델 대비 추론 시간을 54% 감소시켰으며, 분류 오차는 오직 1% 증가에 그쳤다.
• 히스토그램 분할 및 기타 기준들과 달리, 제안된 방법은 ξ의 모든 테스트 값에서 원하는 오차 한계를 일관되게 충족하지만, 기준들은 자주 이를 위반한다.
• 안전한 계획 수립에서, 이 방법은 높은 확률로 원하는 안전률(ξ)을 달성했으며, 고정 또는 적응형 임계값을 사용하는 단순한 접근 방식은 특히 낮은 ξ 값에서 안전 제약 조건을 충족하지 못했다.
• 히스토그램 분할 기준은 속도와 안전률에서 유사한 성능을 보였지만, 이론적 보장이 없었고, 제안된 방법은 고확률로 절대적인 정확성을 보장한다.
• 신뢰구간 계산에 소요된 시간은 무시할 만할 정도로 짧아, 실시간 구현에 실용적임을 시사한다.