[논문 리뷰] PAC Confidence Sets for Deep Neural Networks via Calibrated Prediction

Sangdon Park, Osbert Bastani외 2명|arXiv (Cornell University)|2019. 12. 31.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 18

한 줄 요약

이 논문은 통계학적 학습 이론에서 유도된 일반화 경계와 校정된 예측을 조합하여 딥 뉴럴 네트워크용 PAC(가능하게 약간 정확한) 신뢰 구간을 구축하는 방법을 제안한다. 이 방법은 진짜 레이블이 높은 확률로 예측된 신뢰 구간에 포함되도록 보장하여 이론적 보장을 확보하면서도 ImageNet, 시각 추적, 강화 학습 벤치마크에서 작은 크기의 구간을 유지한다.

ABSTRACT

We propose an algorithm combining calibrated prediction and generalization bounds from learning theory to construct confidence sets for deep neural networks with PAC guarantees---i.e., the confidence set for a given input contains the true label with high probability. We demonstrate how our approach can be used to construct PAC confidence sets on ResNet for ImageNet, a visual object tracking model, and a dynamics model for the half-cheetah reinforcement learning problem.

연구 동기 및 목표

• 안전 중심 응용 분야에서 신뢰할 수 있는 신뢰도 추정의 부족을 해결하기 위해.
• 진짜 레이블이 높은 확률로 포함되는 이론적 보장이 있는 신뢰 구간을 개발하기 위해.
• 교정된 예측과 통계학적 학습 이론을 조합하여 신뢰 구간의 신뢰성과 일반화 능력을 향상시키기 위해.
• ImageNet, 시각적 물체 추적, 강화 학습 동역학 모델 등 다양한 벤치마크에서 방법을 평가하기 위해.
• 의료 경고 시스템 등 실제 적용 가능성이 있으며 낮은 오류율을 보이는 실증적 유효성을 입증하기 위해.

제안 방법

• 사전 학습된 딥 뉴럴 네트워크의 출력 확률을 校정하기 위해 온도 스케일링을 사용한다.
• 통계학적 학습 이론에서 유도된 일반화 경계를 적용하여 PAC 보장을 만족하는 신뢰 구간을 유도한다.
• 신뢰 구간 $ C_T(x) $ 는 검증 데이터에서 $ \mathbb{P}_{(x,y)\sim D}[y \in C_T(x)] \geq 1 - \epsilon $ 이며, 확률 $ 1 - \delta $ 이상로 구성된다.
• 일반화 보장을 확보하기 위해 검증 세트에서 단일 온도 매개변수 $ \tau $ 를 피팅한다.
• 분류 문제에서는 가장 높은 교정된 확률을 가진 상위-$ k $개 클래스를 선택하여 신뢰 구간을 구성한다.
• 연속적 및 구조화된 출력에 적합하도록 신뢰 구간 구성 방식을 조정하여 회귀 및 강화 학습으로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 교정된 예측과 일반화 경계를 조합하여 딥 뉴럴 네트워크용 PAC 신뢰 구간을 생성할 수 있는가?
• RQ2 이론적 보장과 실증적 타당성을 유지하면서도 PAC 신뢰 구간을 얼마나 작게 만들 수 있는가?
• RQ3 제안된 방법이 의료 경고 시스템과 같은 안전 중심 응용 분야에서 신뢰성을 향상시키는가?
• RQ4 이 방법은 이미지 분류, 시각적 추적, 강화 학습 동역학 모델링 등 다양한 작업에서 어떻게 성능을 내는가?
• RQ5 제한된 검증 데이터를 가진 소규모 데이터셋에 대해서도 낮은 실증 오차를 유지하면서 적용 가능한가?

주요 결과

• ImageNet에서, 이 방법은 실증적으로 유효한 신뢰 구간을 생성하였으며, CHOP 경고 데이터셋에서의 실증적 구간 오차는 $ \hat{L}(C;Z_{\text{test}}) = 0.0159 $ 로 목표값 $ \epsilon = 0.02 $ 이하였다.
• CHOP 경고 데이터셋에서, 신뢰 구간 예측기 덕분에 27.94%의 가짜 경고가 억제되었고, 진짜 경고 중 6.95%만 잘못 억제되었다.
• Auto MPG 회귀 데이터셋에서 실증적 구간 오차는 $ \hat{L}(C;Z_{\text{test}}) = 0.1250 $ 로, 다소 큰 $ \delta = 0.05 $ 로 인해 $ \epsilon = 0.1 $ 을 略로 초과한 것으로 보인다.
• 학생 성적 회귀 데이터셋에서 실증 오차는 $ \hat{L}(C;Z_{\text{test}}) = 0.0597 $ 로 $ \epsilon = 0.1 $ 이하로 매우 낮아 강력한 실증 타당성을 보였다.
• 시각적 물체 추적에서, 신뢰 구간 예측기는 진짜 물체를 높은 확률로 포함하는 녹색 경계 상자(overapproximation)를 생성하여 강건성을 입증하였다.
• 쉬운 ImageNet 이미지에서는 작은 신뢰 구간 크기를 달성하였고, 예를 들어 명확한 경우 $ |C(x)| = 1 $ 이었으며, 더 모호하거나 어려운 입력에서는 더 큰 구간이 형성되었다.