[논문 리뷰] Understanding the Limitations of Conditional Generative Models

Ethan Fetaya, Joern-Henrik Jacobsen외 2명|arXiv (Cornell University)|2019. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 13

한 줄 요약

이 논문은 클래스 조건부 생성 모델이 적대적 예외, 모호한 입력 및 잘못 레이블링된 데이터를 탐지함으로써 강건한 분류를 가능하게 할 수 있는지 조사한다. 이론적으로는 유망한 성과를 보이지만, 저자는 최대우도 학습이 적대적 편향의 탐지 가능성을 본질적으로 제한한다는 것을 보여주며, 실증 결과는 MNIST에서의 강건성이 CIFAR10으로 일반화되지 않음을 시사한다. 이는 우도 목적이 유도하는 모델 특성 때문이다.

ABSTRACT

Class-conditional generative models hold promise to overcome the shortcomings of their discriminative counterparts. They are a natural choice to solve discriminative tasks in a robust manner as they jointly optimize for predictive performance and accurate modeling of the input distribution. In this work, we investigate robust classification with likelihood-based generative models from a theoretical and practical perspective to investigate if they can deliver on their promises. Our analysis focuses on a spectrum of robustness properties: (1) Detection of worst-case outliers in the form of adversarial examples; (2) Detection of average-case outliers in the form of ambiguous inputs and (3) Detection of incorrectly labeled in-distribution inputs. Our theoretical result reveals that it is impossible to guarantee detectability of adversarially-perturbed inputs even for near-optimal generative classifiers. Experimentally, we find that while we are able to train robust models for MNIST, robustness completely breaks down on CIFAR10. We relate this failure to various undesirable model properties that can be traced to the maximum likelihood training objective. Despite being a common choice in the literature, our results indicate that likelihood-based conditional generative models may are surprisingly ineffective for robust classification.

연구 동기 및 목표

• 클래스 조건부 생성 모델이 적대적 예외, 모호한 입력 및 잘못 레이블링된 내분포 데이터를 강건하게 탐지할 수 있는지 평가하기.
• 이러한 모델을 학습하는 데 사용되는 최대우도 목적이 신뢰할 수 있는 이상치 탐지에 기여하는지 조사하기.
• 유사한 아키텍처와 학습 설정에도 불구하고 생성 모델이 MNIST에선 성공하고 CIFAR10에선 실패하는 이유를 이해하기.
• 고차원 데이터에서 높은 분류 정확도와 낮은 우도 기반 탐지 성능 사이의 괴리를 탐색하기.

제안 방법

• 최대우도 목표 하에서 적대적 예외 탐지의 보장이 불가능함을 이론적으로 분석함. 이는 최적에 가까운 조건부 생성 분류기라도 해당 목표 하에서는 성립하지 않음.
• 다양한 적대적 공격(경계 공격 포함)을 사용하여 MNIST 및 CIFAR10에서 최대우도로 학습된 조건부 생성 모델을 실증적으로 평가함.
• MNIST 숫자와 CIFAR10 배경을 조합하여 구성된 새로운 데이터셋 BG-MNIST를 도입함. 이는 분류 난이도와 생성 복잡도를 분리하기 위함이다.
• 실제 이미지와 생성된 이미지 사이의 선형 보간을 사용하여 입력 다양체 전반에서 우도 행동과 모델 신뢰도를 평가함.
• 재가중된 분류 목표를 적용하여 높은 분류 정확도를 유지하면서도 우도 열화를 분석함.
• 보간 경로를 따라 우도와 클래스 확률 행동을 비교하여 생성 모델링의 실패 모드를 규명함.

실험 결과

연구 질문

• RQ1 최근 최적에 가까운 조건부 생성 모델이라도 최대우도 목표 하에서 적대적으로 편향된 입력을 보장적으로 거부할 수 있는가?
• RQ2 최대우도 목표는 얼마나 깊이 생성 모델이 이상치 또는 적대적 입력을 탐지하는 능력을 저해하는가?
• RQ3 유사한 모델 아키텍처와 학습 절차에도 불구하고 MNIST에서의 강건성이 CIFAR10으로 일반화되지 않는 이유는 무엇인가?
• RQ4 실제 이미지와 생성된 이미지 사이의 보간을 수행할 때, 다양한 데이터셋에서 모델 행동(특히 우도와 신뢰도)은 어떻게 변화하는가?

주요 결과

• 이론적 분석을 통해 최대우도 목표의 본질적 한계로 인해, 심지어 최적에 가까운 조건부 생성 모델이라도 적대적으로 편향된 입력을 보장적으로 거부할 수 없음을 증명함.
• MNIST에서는 조건부 생성 모델이 높은 정확도를 달성하고 우도 기반 이상치 탐지 성능도 합리적으로 보이지만, 이 강건성은 CIFAR10에서 완전히 붕괴됨.
• 선형 보간 실험 결과, CIFAR10에서는 서로 다른 클래스의 이미지 사이를 보간한 이미지가 실제 이미지보다 더 높은 우도를 가지며, 이는 고신뢰도 오분류를 유도함.
• BG-MNIST 데이터셋은 생성 복잡도를 CIFAR10 수준으로 높였을 때도 분류 난이도는 낮게 유지함으로써, 모델이 CIFAR10에서와 동일한 실패 모드를 보임을 보여주며, 이는 생성 복잡도가 근본 원인임을 시사함.
• BG-MNIST에서 99%의 분류 정확도를 유지하더라도 로그우도는 심각하게 열화됨(4.58 비트/차원). 이는 CIFAR10 수준과 동일하며, 열악한 생성 품질을 나타냄.
• 이 연구는 최대우도 목표가 강건성의 핵심 요소를 포착하지 못하므로, 우도 기반 밀도 모델링과 강건한 분류 간에 본질적인 괴리가 있음을 결론 내림.