[논문 리뷰] Safer Classification by Synthesis

William Yang Wang, Angelina Wang외 3명|arXiv (Cornell University)|2017. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 32

한 줄 요약

이 논문은 분포 외 예측에 대해 강건성을 향상시키기 위해 클래스별 생성 모델(VAE 또는 GAN)을 사용하는 생성 분류 프레임워크를 제안한다. 테스트 시점에, 주어진 입력과 모든 클래스 생성기에서 생성된 이미지 중 가장 유사한 것을 찾고, 해당 클래스를 선택한다. 이 방법은 신뢰도 추정을 신뢰할 수 있게 보장하며, 분포 내 데이터에 대해 경쟁력 있는 정확도를 유지하면서 선택적 예측 하에서 위험도가 점점 감소하는 성능을 달성한다.

ABSTRACT

The discriminative approach to classification using deep neural networks has become the de-facto standard in various fields. Complementing recent reservations about safety against adversarial examples, we show that conventional discriminative methods can easily be fooled to provide incorrect labels with very high confidence to out of distribution examples. We posit that a generative approach is the natural remedy for this problem, and propose a method for classification using generative models. At training time, we learn a generative model for each class, while at test time, given an example to classify, we query each generator for its most similar generation, and select the class corresponding to the most similar one. Our approach is general and can be used with expressive models such as GANs and VAEs. At test time, our method accurately "knows when it does not know," and provides resilience to out of distribution examples while maintaining competitive performance for standard examples.

연구 동기 및 목표

• 높은 신뢰도로 분포 외 예측을 잘못 분류할 수 있는 판별적 딥 러닝 모델의 안전성 한계를 해결하기 위해.
• 생성 모델링을 활용하여, 자신이 모른다는 것을 내재적으로 알 수 있는 분류 방법을 개발하기 위해.
• 안전 기반 응용 분야에서 표준 판별 분류기의 원칙적이고 해석 가능하며 강건한 대안을 제공하기 위해.
• 생성 모델이 동시에 정확한 분류기이자 효과적인 신규성 탐지기로 기능할 수 있는지 평가하기 위해.

제안 방법

• 학습 시점에, 레이블된 데이터를 사용하여 각 클래스별로 별도의 생성 모델(VAE 또는 GAN)을 훈련시킨다.
• 테스트 시점에, 주어진 입력 이미지에 대해 각 생성기의 잠재 공간을 탐색하여 가장 유사한 생성 이미지를 생성하는 잠재 벡터를 찾는다.
• 가장 가까운 이미지를 생성하는 생성기의 클래스가 예측으로 선택된다 (L² 거리로 측정).
• 신뢰도는 입력과 가장 가까운 생성 이미지 간의 L² 거리에서 유도되며, 이는 선택적 분류를 가능하게 한다.
• 유사도 기반의 신뢰도 점수를 사용하여 분포 외 예측을 거부함으로써, 점점 감소하는 위험도 성질을 달성한다.
• 이 방법은 VAE와 GAN 모두와 호환되며, 생성 모델의 훈련 목표를 수정할 필요가 없다.

실험 결과

연구 질문

• RQ1 표준 판별 모델보다 생성 모델 접근 방식이 분포 외 예측에 대해 더 강건한가?
• RQ2 테스트 이미지와 클래스별 생성기에서 생성된 가장 가까운 이미지 간의 유사도가 신뢰도 점수로 신뢰할 수 있는가?
• RQ3 생성 모델을 사용하여 분포 내 정확도가 높고 효과적인 신규성 탐지가 동시에 가능할 수 있는가?
• RQ4 생성 복원 오차에서 유도된 신뢰도 점수가 선택적 분류를 가능하게 하고 점점 감소하는 위험도를 달성하는 데 충분한가?

주요 결과

• 생성 분류기는 선택적 예측 하에서 점점 감소하는 위험도를 달성한다. 즉, 선택성만 높이면 오류율을 0으로 낮출 수 있으며, 이는 표준 CNN과는 다르다.
• Omniglot을 보완한 MNIST 데이터셋에서, L² 거리 기반의 생성 분류기는 CNN보다 기저 정확도가 낮지만, 분포 외 입력에 대해 강건성을 유지한다.
• CNN이 높은 신뢰도로 잘못 분류하는 Omniglot 이미지에 대해, GAN 기반 생성 분류기는 약 10⁻² 수준의 최소 L² 거리를 기록하며, MNIST 이미지의 약 10⁻³ 수준보다 약 10배 높은 수준을 보이며, 이는 낮은 신뢰도를 의미한다.
• 생성 모델 기반의 신규성 탐지와 CNN 분류를 조합하면, 모든 커버리지 수준에서 CNN 단독보다 성능이 뛰어나며, 모든 임계값에서 더 낮은 위험도를 달성한다.
• VAE 기반 생성 분류기는 KNN이 잘못 분류하는 MNIST 이미지를 정확히 분류한다. 왜냐하면 훈련 세트에 해당 예제가 없더라도, 정확한 클래스의 현실적인 이미지를 생성할 수 있기 때문이다.
• 이 방법은 해석 가능성을 제공한다. 분류 결정은 구체적인 생성 이미지에 기반하므로, 추론 과정이 투명해진다.