[논문 리뷰] Monge blunts Bayes: Hardness Results for Adversarial Training

Zac Cranko, Aditya Krishna Menon외 4명|arXiv (Cornell University)|2018. 06. 08.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 적대적 훈련에서 학습 성능을 심각하게 악화시키는 적대자들을 식별하기 위한 형식적 프레임워크를 제안한다. 이는 적분 확률 거리의 일반화를 통해 '해로움 정도' 측도 γ로 이어진다. 이 논문은 리프시츠 연속 분류기의 경우 최적 운반 이론을 통해 손실에 종속되지 않는 효율적인 적대자들이 클래스 간 거리의 압축을 가능하게 하며, 이러한 적대자들이 표준 정확도를 떨어뜨리면서도 일반화 성능을 향상시킨다는 것을 경험적으로 검증한다.

ABSTRACT

The last few years have seen a staggering number of empirical studies of the robustness of neural networks in a model of adversarial perturbations of their inputs. Most rely on an adversary which carries out local modifications within prescribed balls. None however has so far questioned the broader picture: how to frame a resource-bounded adversary so that it can be severely detrimental to learning, a non-trivial problem which entails at a minimum the choice of loss and classifiers. We suggest a formal answer for losses that satisfy the minimal statistical requirement of being proper. We pin down a simple sufficient property for any given class of adversaries to be detrimental to learning, involving a central measure of "harmfulness" which generalizes the well-known class of integral probability metrics. A key feature of our result is that it holds for all proper losses, and for a popular subset of these, the optimisation of this central measure appears to be independent of the loss. When classifiers are Lipschitz -- a now popular approach in adversarial training --, this optimisation resorts to optimal transport to make a low-budget compression of class marginals. Toy experiments reveal a finding recently separately observed: training against a sufficiently budgeted adversary of this kind improves generalization.

연구 동기 및 목표

• 자원 제약이 있는 적대자가 적대적 훈련에서 학습에 심각하게 악영향을 미칠 수 있는 조건을 형식화하는 것.
• 적분 확률 거리와 최대 평균 차이의 일반화된 측도 γ를 사용하여 적대자 해로움 정도의 충분조건을 규명하는 것.
• 최적 운반 이론을 통해 리프시츠 연속 분류기가 손실에 종속되지 않는 효율적인 적대자 설계에 어떻게 기여하는지 분석하는 것.
• 최적 운반 이론을 통해 클래스 간 거리를 압축하도록 설계된 적대자가 일반화 성능 향상에 기여할 수 있음을 보여주는 것, 즉 표준 정확도는 떨어지더라도 말이다.
• 일반적인 적대적 훈련 기법이 제안된 해로운 적대자들의 의사 척도를 암묵적으로 사용하고 있음을 이론적이고 경험적으로 정당화하는 것.

제안 방법

• 적분 확률 거리의 일반화된 측도 γ를 도입하여 적대자의 '해로움 정도'를 정량화하며, 이는 최대 평균 차이와 연결된다.
• 로그 손실, 제곱 손실, 마츠시타 손실 등 적절한 손실 함수의 경우, γ 최적화가 손실 함수와 독립적임을 입증하여 손실에 종속되지 않는 적대자 설계를 가능하게 한다.
• 리프시츠 제약 조건 하에서 γ를 최소화하는 방식으로 최적 운반 이론을 적용하여 클래스 간 거리의 저비용 압축을 가능하게 하는 적대자를 모델링한다.
• 이중 단계 프레임워크를 사용: 첫 번째로, 정상 데이터 분포를 적대적 분포로 매핑하는 최적 운반 계획을 계산하고, 두 번째로, 변환된 데이터로 훈련한다.
• 이미지 픽셀에 대한 L1 예산 제약 조건 하에서 몽게 유형의 적대자를 계산하기 위해 기울기 기반 최적화와 선형 프로그래밍을 활용한다.
• 1차원 합성 데이터와 USPS 손글씨 숫자(1 vs 3)에서 실험하여 로지스틱 회귀와 믹스업 유사 적대자 기법을 적용한다.

실험 결과

연구 질문

• RQ1 자원 제약이 있는 적대자가 적절한 손실 함수를 사용하더라도 학습에 증명 가능하게 악영향을 미칠 수 있는 조건는 무엇인가?
• RQ2 손실 함수에 종속되지 않는 방식으로 적대자의 해로움 정도를 정량화할 수 있으며, 만약 가능하다면 그 일반 형태는 무엇인가?
• RQ3 분류기의 리프시츠 연속성은 최적 운반 이론 기반으로 적대자 공격의 구조와 효율성에 어떤 영향을 미치는가?
• RQ4 일반적으로 사용되는 적대적 훈련 기법들이 최적 운반 이론을 통해 클래스 간 거리를 압축하는 적대자에 암묵적으로 의존하는 정도는 어느 정도인가?
• RQ5 최적 운반 이론 기반의 적대자에 대비해 훈련하는 것이 표준 정확도를 희생시키더라도 일반화 성능 향상에 기여하는가?

주요 결과

• 논문은 적대자 해로움 정도에 대한 충분조건이 일반화된 측도 γ의 최적화임을 입증하며, 이는 적절한 손실 함수의 광범위한 클래스에서 손실 함수와 독립적임을 보여준다.
• 리프시츠 연속 분류기의 경우 최적의 적대자는 최적 운반 이론을 통해 클래스 간 거리의 저비용 압축을 의미하며, 이는 적대자가 클래스 간 거리를 '줄이는 방식'을 형식화한다.
• 1차원 토이 실험에서 믹스업 적대자는 α → 1일 때 손실 ℓ₀에 도달함을 확인하여, 적대자가 모델이 50% 정확도(무작위 추측과 동일)로 수렴하도록 강제할 수 있음을 입증한다.
• USPS 숫자 데이터셋에서 몽게 적대자는 증가하는 예산(α/d = 0.15에서 0.6)에 따라 숫자 1과 3을 신뢰할 수 있는 적대적 예시로 성공적으로 변환하며, 부드럽고 제어 가능한 변형을 보여준다.
• 경험적 결과는 이러한 적대자에 의해 훈련된 데이터로 훈련하면 일반화 성능 향상이 이루어짐을 확인하며, Tsipras 등(2019)과 Zhang 등(2018)의 이전 관찰과 일치한다.
• 본 연구는 일반적인 적대적 훈련 방법이 제안된 최적 운반 기반 적대자들의 의사 척도를 암묵적으로 사용하고 있음을 이론적·경험적으로 정당화하며, 이러한 방법의 성공 배경에 통합 원리가 존재할 가능성을 제시한다.