[논문 리뷰] Manifold Regularization for Adversarial Robustness

Charles Jin, Martin Rinard|arXiv (Cornell University)|2020. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 7

한 줄 요약

이 논문은 적대적 예제 생성을 필요로 하지 않고 데이터 다양체의 국소 안정성을 강제함으로써 딥 네ural 네트워크의 적대적 로버스트성을 향상시키는 다양체 정규화 접근법을 제안한다. $ε = 8/255$ $ε_\infty$ 편향 하에서 CIFAR-10에서 70%의 최신 기술 수준의 로버스트 정확도를 달성하며, 표준 적대적 훈련에 비해 훈련 속도가 수개의 주기 빠르다.

ABSTRACT

Manifold regularization is a technique that penalizes the complexity of learned functions over the intrinsic geometry of input data. We develop a connection to learning functions which are locally stable, and propose new regularization terms for training deep neural networks that are stable against a class of local perturbations. These regularizers enable us to train a network to state-of-the-art robust accuracy of 70% on CIFAR-10 against a PGD adversary using $\ell_\infty$ perturbations of size $\epsilon = 8/255$. Furthermore, our techniques do not rely on the construction of any adversarial examples, thus running orders of magnitude faster than standard algorithms for adversarial training.

연구 동기 및 목표

• 적대적 예제 생성에 의존하지 않고 딥 네ural 네트워크의 적대적 로버스트성을 향상시키기 위해.
• 학습된 함수의 국소 안정성과 다양체 정규화 간의 관계를 수학적으로 형식화하기 위해.
• 국소 편향에 대한 저항력을 향상시키는 효율적인 정규화 기법을 개발하기 위해.
• 최소한의 계산 오버헤드로 $ε_\infty$ 편향 하에서 CIFAR-10에서 최신 기술 수준의 로버스트 정확도를 달성하기 위해.

제안 방법

• 입력 데이터의 내재 기하학에 걸쳐 함수 복잡도를 억제하는 새로운 정규화 항을 도입한다.
• 데이터의 다양체 구조를 활용하여 학습된 함수의 국소 안정성을 강제한다.
• 명시적인 적대적 훈련 없이도 국소 편향을 암시적으로 고려하는 정규화 구성 요소를 설계한다.
• 표준 백프로파게이션 동안 정규화 항을 적용하여 비용이 많이 드는 적대적 예제 생성을 피한다.
• 데이터 다양체를 기반으로 작은 국소 편향에 잘 일반화되는 부드러움 우선순위를 정의한다.
• 로버스트성을 향상시키기 위해 기하학적 인덕티브 바이어스를 활용하면서도 높은 자연 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 적대적 예제 생성 없이 다양체 정규화를 효과적으로 활용하여 적대적 로버스트성을 향상시킬 수 있는가?
• RQ2 데이터 다양체 상에서 국소 안정성을 강제하면 $ε_\infty$ 편향에 대한 저항력이 어떻게 향상되는가?
• RQ3 로버스트 정확도와 훈련 속도 측면에서 표준 적대적 훈련에 비해 다양체 정규화의 성능은 어떠한가?
• RQ4 제안된 정규화 항은 다양한 데이터 분포와 네트워크 아키텍처 간에 일반화 가능한가?
• RQ5 로버스트성을 향상시키는 동안 높은 자연 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 $ε = 8/255$ $ε_\infty$ 편향 하에서 CIFAR-10에서 70%의 로버스트 정확도를 달성하여 최신 기술 수준의 성능을 보였다.
• 적대적 예제 생성을 피하기 때문에 제안된 정규화를 사용한 훈련은 표준 적대적 훈련보다 훨씬 빠르다.
• 데이터 다양체에서 유도된 기하학적 우선순위를 통해 국소 안정성을 강제함으로써 로버스트성이 향상된다.
• 이 방법은 자연 정확도를 높게 유지하므로 로버스트성과 표준 정확도 사이의 유리한 트레이드오프를 보였다.
• 어떤 명시적 적대적 데이터도 필요로 하지 않아 계산 오버헤드가 감소하며, 정규화 항이 효과적이다.