[논문 리뷰] Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization

Sicheng Zhu, Xiao Zhang외 1명|arXiv (Cornell University)|2020. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 9

한 줄 요약

이 논문은 적대적 편향 하에서 입력과 표현 간의 최악의 상호정보량을 최대화하는 방식으로 적대적 방어성 표현을 학습하는 새로운 방법을 제안한다. 최악의 상호정보량을 통한 표현 방어성 정의와 정규화된 목적함수를 통한 훈련을 통해, CIFAR-10에서 기존 표준 표현보다 훨씬 높은 적대적 정확도(최대 31.5%)를 달성하며, 완전히 지도 학습된 적대적 훈련에 가까운 성능을 보이며, 일부 설정에서는 자연 정확도 또한 향상된다.

ABSTRACT

Training machine learning models that are robust against adversarial inputs poses seemingly insurmountable challenges. To better understand adversarial robustness, we consider the underlying problem of learning robust representations. We develop a notion of representation vulnerability that captures the maximum change of mutual information between the input and output distributions, under the worst-case input perturbation. Then, we prove a theorem that establishes a lower bound on the minimum adversarial risk that can be achieved for any downstream classifier based on its representation vulnerability. We propose an unsupervised learning method for obtaining intrinsically robust representations by maximizing the worst-case mutual information between the input and output distributions. Experiments on downstream classification tasks support the robustness of the representations found using unsupervised learning with our training principle.

연구 동기 및 목표

• 강화된 훈련을 하였음에도 불구하고 하류 모델이 실패하는 상황에서, 적대적 편향에 대해 강건한 표현을 학습하는 데 있어 근본적인 과제를 해결하고자 한다.
• 최악의 입력 편향 하에서 상호정보량의 최대 변화를 기반으로 이론적으로 탄탄한 표현 취약성의 개념을 정의하고자 한다.
• 표현 방어성에 기반하여 적대적 리스크의 이론적 하한을 수립하고, 표현 방어성과 하류 분류기 성능 간의 연결 고리를 확립하고자 한다.
• 라벨이 없는 데이터를 활용한 표현 학습 과정에서 필요로 하는 라벨 데이터 없이도 강건한 표현을 유도하기 위해 최악의 상호정보량을 최대화하는 비지도 훈련 방법을 개발하고자 한다.
• 이 원칙에 따라 학습된 표현이 더 강건한 하류 분류기를 생성하고, 더 해석 가능한 색소맵을 제공함을 실증적으로 검증하고자 한다.

제안 방법

• ∞-Wasserstein 구 내 편향이 가해진 상황에서 입력과 표현 간 상호정보량의 최악의 변화로 표현 취약성을 정의한다.
• 입력과 표현 간 최악의 상호정보량을 최대화하는 훈련 목적함수를 제안하며, 표현 취약성을 정규화 항으로 활용해 방어성을 향상시킨다.
• 기울기 기반 편향과 상호정보량 추정을 활용해 표현 취약성을 히우리스틱 알고리즘으로 추정한다.
• 대조적 학습과 대조 손실을 사용해 인코더 네트워크를 비지도 방식으로 훈련하며, 표현 취약성에 대한 정규화 항을 포함한다.
• 학습된 표현에 대해 일반 또는 적대적 방식으로 분류기 헤드를 훈련하여 방어성 수준을 평가한다.
• 기울기 기반 기여도를 활용해 색소맵을 시각화하여 표현의 해석 가능성과 입력 특징과의 일치도를 평가한다.

실험 결과

연구 질문

• RQ1 적대적 편향 하에서 최악의 상호정보량을 사용해 표현 방어성을 이론적으로 정의할 수 있는가?
• RQ2 표현 취약성과 하류 분류기의 최소 달성 가능한 적대적 리스크 사이의 이론적 관계는 무엇인가?
• RQ3 최악의 상호정보량 최대화가 더 강건한 하류 분류기를 유도하는 표현을 생성할 수 있는가?
• RQ4 제안된 방법이 기존 표현 학습 방식에 비해 적대적 정확도와 자연 정확도를 모두 향상시키는가?
• RQ5 이 방법으로 학습된 표현은 색소맵 품질을 통해 더 해석 가능하다고 볼 수 있는가?

주요 결과

• 제안된 방법은 하류 분류기를 적대적으로 훈련할 경우 CIFAR-10에서 31.5%의 적대적 정확도를 달성하며, 기준 표준 표현(14.1%의 적대적 정확도)보다 뚜렷이 뛰어나다.
• CIFAR-10에서 제안된 표현을 사용한 하류 분류기의 자연 정확도는 62.5%에 도달하여 기준치인 58.8%를 초월한다.
• MNIST에서는 자연 정확도 향상이 관찰되지 않아, 데이터셋에 따라 일반화 성능이 달라지는 경향이 있음을 시사한다.
• 최악의 상호정보량 최대화를 통해 학습된 표현의 색소맵은 노이즈가 적고 입력 이미지와의 일치도가 높아, 더 해석 가능한 특징 학습을 반영하고 있다.
• 절단 분석 결과, 표준(비강건) 표현에 대해 분류기를 강건하게 훈련하는 것은 자연 정확도를 30% 이하로 낮추며, 표현에 강건성이 내재되어야 함을 확인한다.
• 표현 취약성에 기반한 적대적 리스크의 이론적 하한은 어떤 하류 분류기라도 달성할 수 있는 방어성의 근본적 한계를 제공한다.