[논문 리뷰] Adversarial Training is a Form of Data-dependent Operator Norm Regularization

Kevin A. Roth, Yannic Kilcher외 1명|arXiv (Cornell University)|2019. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 60인용 수 15

한 줄 요약

이 논문은 $\varepsilon$-제약이 있는 프로젝션 기반 경사 상승법을 사용한 적대적 훈련과 데이터에 의존하는 연산자 노름 정규화 사이의 이론적 동치성을 확립하며, 이러한 훈련 방식이 데이터가 지원하는 영역에서 신경망의 스펙트럼적 성질을 암묵적으로 정규화함을 보여준다. 주요 기여는 $\ell_\infty$-노름 손실을 사용한 적대적 훈련이 수학적으로 $(p,q)$-연산자 노름 정규화와 동치임을 증명함으로써, 스펙트럼 제어를 통한 강건성에 대한 새로운 이론적 기반을 제공한다는 데 있다.

ABSTRACT

We establish a theoretical link between adversarial training and operator norm regularization for deep neural networks. Specifically, we prove that $\ell_p$-norm constrained projected gradient ascent based adversarial training with an $\ell_q$-norm loss on the logits of clean and perturbed inputs is equivalent to data-dependent (p, q) operator norm regularization. This fundamental connection confirms the long-standing argument that a network's sensitivity to adversarial examples is tied to its spectral properties and hints at novel ways to robustify and defend against adversarial attacks. We provide extensive empirical evidence on state-of-the-art network architectures to support our theoretical results.

연구 동기 및 목표

• 적대적 훈련을 딥 신경망에서 연산자 노름 정규화와 이론적으로 연결하기.
• 입력에 의존하는 $\ell_\infty$-노름 제약이 있는 펄럭션과 $\ell_\infty$-노름 손실을 사용한 적대적 훈련이 데이터에 의존하는 $(p,q)$-연산자 노름 정규화와 동치임을 보여주기.
• 적대적 펄럭션이 주된 특이벡터와 일치함과 동시에 적대적 훈련이 특이값을 감소시킴을 실증적으로 입증하기.
• 적대적 훈련이 표준 훈련보다 데이터 포인트 주변에서 훨씬 더 선형인 모델을 만들어내는 것으로 보여주기.
• 데이터에 의존하는 스펙트럼 정규화를 통한 강건한 일반화에 대한 이론적 기반 마련하기.

제안 방법

• 이론적 분석을 통해 $\ell_\infty$-노름 제약이 있는 프로젝션 기반 경사 상승법을 사용한 적대적 훈련과 $\ell_\infty$-노름 손실을 사용한 경우가 데이터에 의존하는 $(p,q)$-연산자 노름 정규화와 수학적으로 동치임을 증명한다.
• 분석은 네트워크의 최종 레이어의 자코비안에 집중하며, 적대적 공격가 자코비안의 주요 특이벡터를 찾기 위해 파wer-메서드 유사 반복을 근사함을 보여준다.
• 기존 연구에서의 전역적 경계와 달리, 이 방법은 데이터 분포에 의해 지원되는 영역에서만 특이값을 정규화하는 데이터에 의존하는 스펙트럼 노름 정규화의 변형을 도입한다.
• 실증 평가는 자코비안의 특이벡터와 특이값을 사용하여 적대적 펄럭션의 일치도와 모델의 선형성 분석을 수행한다.
• 다양한 데이터셋과 펄럭션 노름에서 표준 훈련, 적대적 훈련, 명시적 데이터에 의존하는 연산자 노름 정규화 간의 실험적 비교를 수행한다.
• 행렬 분석과 자코비안의 특이값 분해 특성 등을 활용하여 이론적 동치성을 유도한다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 어떤 형태의 연산자 노름 정규화와 동치인가?
• RQ2 적대적 훈련은 데이터가 지원하는 영역에서 신경망의 스펙트럼적 성질을 정규화하는 것으로 해석될 수 있는가?
• RQ3 적대적 펄럭션은 네트워크 자코비안의 주요 특이벡터와 일치하는가?
• RQ4 적대적 훈련은 네트워크 자코비안의 상위 특이값을 감소시켜 데이터 포인트 주변에서의 선형성을 증가시키는가?
• RQ5 데이터에 의존하는 연산자 노름 정규화는 적대적 훈련과 유사한 강건성을 달성할 수 있는가?

주요 결과

• 입력에 의존하는 $\ell_\infty$-노름 제약이 있는 펄럭션과 $\ell_\infty$-노름 손실을 사용한 적대적 훈련은 수학적으로 데이터에 의존하는 $(p,q)$-연산자 노름 정규화와 동치이다.
• 적대적 펄럭션은 특히 훈련에서 사용된 $\ell_\infty$-노름 제약 수준에서 네트워크 자코비안의 주요 특이벡터와 강하게 일치한다.
• 적대적 훈련은 네트워크 자코비안의 상위 특이값을 크게 감소시켜 입력 펄럭션에 대한 민감도가 감소함을 나타낸다.
• 표준 훈련과 비교해 볼 때, 적대적 훈련 또는 데이터에 의존하는 연산자 노름 정규화로 훈련된 모델은 데이터 포인트 주변에서 훨씬 더 선형적이다.
• 다양한 펄럭션 노름($\ell_2$, $\ell_\infty$)과 데이터셋(CIFAR-10, SVHN)에서 동치성은 일관된 실증 결과를 보이며 유지된다.
• 이론적 및 실증적 결과는 적대적 강건성이 네트워크 자코비안의 스펙트럼적 성질과 본질적으로 관련되어 있음을 확인한다.