[논문 리뷰] Conditional Generative Models are not Robust

Ethan Fetaya, Jörn-Henrik Jacobsen외 1명|arXiv (Cornell University)|2019. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 13

한 줄 요약

이 논문은 가능도 기반의 조건부 생성 모델이 비록 최적에 가까운 경우라도, 적대적 예제의 탐지 가능성을 보장하지 못함을 보여준다. 개선된 훈련 기법에도 불구하고, 이러한 모델은 최대 가능도 훈련의 한계로 인해 CIFAR10과 같은 복잡한 데이터셋에서 열악한 강건성을 보이며, 바람직하지 않은 모델 행동을 처벌하지 못함으로써 이론적으로는 가능도 최적화와 강건한 분류 간의 본질적 불일치를 드러낸다.

ABSTRACT

Class-conditional generative models are an increasingly popular approach to achieve robust classification. They are a natural choice to solve discriminative tasks in a robust manner as they jointly optimize for predictive performance and accurate modeling of the input distribution. In this work, we investigate robust classification with likelihood-based conditional generative models from a theoretical and practical perspective. Our theoretical result reveals that it is impossible to guarantee detectability of adversarial examples even for near-optimal generative classifiers. Experimentally, we show that naively trained conditional generative models have poor discriminative performance, making them unsuitable for classification. This is related to overlooked issues with training conditional generative models and we show methods to improve performance. Finally, we analyze the robustness of our proposed conditional generative models on MNIST and CIFAR10. While we are able to train robust models for MNIST, robustness completely breaks down on CIFAR10. This lack of robustness is related to various undesirable model properties maximum likelihood fails to penalize. Our results indicate that likelihood may fundamentally be at odds with robust classification on challenging problems.

연구 동기 및 목표

• 적대적 환경에서 조건부 생성 모델의 이론적 및 실용적 강건성에 대해 조사한다.
• 예측과 데이터 분포 모델링을 공동으로 최적화하더라도, 단순히 훈련된 조건부 생성 모델이 왜 분류 성능이 열악한지 규명한다.
• 개선된 훈련 방법이 MNIST 및 CIFAR10과 같은 표준 벤치마크에서 생성 분류기의 강건성을 복원할 수 있는지 분석한다.
• 최대 가능도 훈련이 복잡한 데이터셋에서 강건한 분류와 본질적으로 충돌하는지 규명한다.

제안 방법

• 가능도 기반의 조건부 생성 분류기에서 이상적인 조건 하에서 적대적 예제의 탐지 가능성을 분석하기 위해 이론적 분석을 수행한다.
• 표준 가능도 기반의 조건부 생성 모델을 사용하여 MNIST와 CIFAR10에서 실증적 평가를 수행하며, 성능 향상을 위해 훈련 절차를 개선한다.
• 다양한 변형 설정 하에서 적대적 공격 성공률과 탐지 능력을 통해 모델의 강건성을 평가한다.
• 표준 훈련과 개선된 훈련 전략을 비교하여 분류 성능와 강건성에 영향을 주는 요인을 분리한다.
• 최대 가능도 목적이 고차원 공간에서의 약한 일반화와 같은 강건성을 해치는 모델 행동을 처벌하지 못하는 방식에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 가능도 기반의 조건부 생성 모델이 최적에 가까운 훈련 조건에서도 적대적 예제의 탐지 가능성을 보장할 수 있는가?
• RQ2 예측과 데이터 분포 모델링을 공동 최적화하더라도, 단순히 훈련된 조건부 생성 모델이 왜 낮은 분류 성능을 보이는가?
• RQ3 개선된 훈련 절차가 MNIST 및 CIFAR10에서 생성 분류기의 강건성을 얼마나 복원할 수 있는가?
• RQ4 최대 가능도 훈련이 강건성을 해치는 모델 성질을 어떤 방식으로 처벌하거나 忽略하는가?

주요 결과

• 이론적 분석 결과, 비록 최적에 가까운 가능도 기반의 생성 분류기라도 적대적 예제의 탐지 가능성을 보장할 수 없다.
• 단순히 훈련된 조건부 생성 모델은 낮은 분류 성능를 보이며, 이는 최적화 과정에서의 근본적인 문제를 시사한다.
• 개선된 훈련 기법은 성능을 향상시키지만, MNIST에서는 성공했음에도 불구하고 CIFAR10에서는 강건성을 복원하지 못한다.
• CIFAR10에서 강건성이 붕괴되는 것은 최대 가능도 훈련이 처벌하지 못하는 바람직하지 않은 모델 행동 때문이며,
• 결과적으로 복잡하고 고차원적인 데이터셋에서 가능도 최적화와 강건한 분류 간의 본질적 불일치가 존재한다.