[논문 리뷰] Cautious Deep Learning

Yotam Hechtlinger, Barnabás Póczos외 1명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 28

한 줄 요약

이 논문은 $p(x|y)$를 기반으로 한 콫래이션 예측을 사용하는 신중한 딥러닝 프레임워크를 제안한다. 이는 보장된 커버리지로 함께 집합값 예측을 가능하게 하며, 입력이 분포 외일 경우 공집합을 출력함으로써 과신을 줄이고 분포 이탈 및 적대적 공격에 대한 강건성을 향상시킨다. 이는 ImageNet, CelebA, IMDB-Wiki 데이터셋에서 최신 컨volutional 네트워크의 특징을 사용하여 검증되었다.

ABSTRACT

Most classifiers operate by selecting the maximum of an estimate of the conditional distribution $p(y|x)$ where $x$ stands for the features of the instance to be classified and $y$ denotes its label. This often results in a {\em hubristic bias}: overconfidence in the assignment of a definite label. Usually, the observations are concentrated on a small volume but the classifier provides definite predictions for the entire space. We propose constructing conformal prediction sets which contain a set of labels rather than a single label. These conformal prediction sets contain the true label with probability $1-α$. Our construction is based on $p(x|y)$ rather than $p(y|x)$ which results in a classifier that is very cautious: it outputs the null set --- meaning "I don't know" --- when the object does not resemble the training examples. An important property of our approach is that adversarial attacks are likely to be predicted as the null set or would also include the true label. We demonstrate the performance on the ImageNet ILSVRC dataset and the CelebA and IMDB-Wiki facial datasets using high dimensional features obtained from state of the art convolutional neural networks.

연구 동기 및 목표

• 모호하거나 분포 외 입력에 대해서도 확정된 레이블을 부여하는 표준 딥러닝 분류기의 과신 문제를 해결하기 위해.
• 집합값 예측을 통해 모호성(다수의 타당한 레이블)과 이질성(일致한 레이블 없음)을 구분하는 방법을 개발하기 위해.
• 클래스 추가/제거에 유연성을 유지하면서도 분포 자유 신뢰도 보장 $P(Y \in C(X)) \geq 1 - \alpha$를 제공하기 위해.
• 공집합을 통해 이러한 입력을 탐지함으로써 분포 이탈 및 적대적 공격에 대한 강건성을 향상시키기 위해.
• 최신 컨volutional 네트워크의 특징을 사용하여 대규모 고차원 데이터에 대한 실용적 구현을 가능하게 하기 위해.

제안 방법

• 각 클래스별로 추정된 우도 $\widehat{p}(x|y)$를 사용하여 예측 집합 $C(x) = \{ y : \widehat{p}(x|y) > \widehat{t}_y \}$를 구성한다.
• 콕래이션 예측을 통해 임계값 $\widehat{t}_y$를 결정하여 어떤 분포에 대해서도 $P(Y \in C(X)) \geq 1 - \alpha$를 보장한다.
• 각 클래스별로 독립적으로 $\widehat{p}(x|y)$를 추정함으로써 재학습 없이도 클래스의 모듈러 추가/제거가 가능하다.
• 우도 추정에 사전 훈련된 컨volutional 네트워크의 고차원 특징을 입력으로 사용한다.
• 핵 밀도 추정 또는 유사한 비모수적 방법을 사용하여 각 클래스의 $\widehat{p}(x|y)$를 모델링한다.
• 사용자가 정의한 신뢰 수준 $\alpha$를 통해 정확도와 공집합 예측 비율 사이의 트레이드오프를 조정한다.

실험 결과

연구 질문

• RQ1 표준 $p(y|x)$ 기반 방법에 비해 $p(x|y)$ 기반 딥러닝 분류기가 더 나은 불확실성 정량화를 제공할 수 있는가?
• RQ2 CelebA에서 IMDB-Wiki 얼굴 데이터셋으로의 분포 이탈 상황에서 제안된 방법의 성능은 어떠한가?
• RQ3 어느 정도의 수준에서 방법은 공집합을 할당하여 적대적 예외나 분포 외 입력을 탐지할 수 있는가?
• RQ4 ImageNet과 같은 대규모 데이터셋에 대해 확장 가능한가? 유효한 커버리지 보장을 유지할 수 있는가?
• RQ5 다양한 신뢰 수준 $\alpha$에서 정확도와 공집합 예측 비율 간의 트레이드오프는 어떻게 변화하는가?

주요 결과

• CelebA 데이터셋에서, 이 방법은 $1 - \alpha$에 가까운 정확도를 달성하며, 공집합 예측 비율은 약 $\alpha$와 같아 유효한 커버리지가 보장됨을 보여준다.
• IMDB-Wiki 데이터셋에서는 표준 분류기가 실패(정확도 0.577)하는 상황에서, 콕래이션 방법은 랜덤 추측보다 훨씬 높은 정확도를 달성하며, 특히 낮은 $\alpha$에서 두드러진 성능을 보인다.
• 이 방법은 분포 이탈을 성공적으로 탐지한다: CelebA에서 훈련한 후 IMDB-Wiki에서 테스트했을 때, 높은 비율의 공집합 예측을 생성하여 분포 외 입력임을 시사한다.
• 1 - \alpha를 낮게 설정할 경우 거짓 긍정 비율이 최소화되며, 이는 사용자가 응용 목적에 맞게 오류 유형을 제어할 수 있음을 의미한다.
• CelebA와 IMDB-Wiki 간의 얼굴 자세 및 이미지 품질의 분포 차이가 심할지라도, 이 방법은 여전히 강건성을 유지한다.
• 이 방법은 클래스 관리의灵活性를 제공한다: 모델을 재학습하지 않고도 클래스를 추가하거나 제거할 수 있으며, 커버리지 보장을 유지한다.