[논문 리뷰] Improved robustness to adversarial examples using Lipschitz regularization of the loss

Chris Finlay, Adam M. Oberman외 1명|arXiv (Cornell University)|2018. 10. 01.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 23

한 줄 요약

이 논문은 손실 함수의 리프시츠 상수를 정규화하여 적대적 방어력을 향상시키는 새로운 방법인 최악의 경우 적대적 훈련(WCAT)을 제안한다. 적대적 훈련을 총변동성 정규화로, WCAT을 리프시츠 정규화로 해석함으로써, ℓ₂ 노이즈에 대한 CIFAR-10에서 최첨단 기법 대비 11% 높은 방어력을 달성하며, 기울기 노름에 기반한 검증 가능한 방어력 보장을 제공한다.

ABSTRACT

We augment adversarial training (AT) with worst case adversarial training (WCAT) which improves adversarial robustness by 11% over the current state-of-the-art result in the $\ell_2$ norm on CIFAR-10. We obtain verifiable average case and worst case robustness guarantees, based on the expected and maximum values of the norm of the gradient of the loss. We interpret adversarial training as Total Variation Regularization, which is a fundamental tool in mathematical image processing, and WCAT as Lipschitz regularization.

연구 동기 및 목표

• ℓ₂ 노름 노이즈에 대한 딥 네ural 네트워크의 적대적 방어력을 향상시키기 위해.
• 평균 케이스 및 최악의 경우 방어력에 대한 검증 가능한 보장을 제공하기 위해.
• 적대적 훈련을 총변동성 정규화로, WCAT를 리프시츠 정규화로 공식화하기 위해.
• 손실 곡면 내 기울기 노름 제어를 통해 일반화와 방어력을 향상시키기 위해.

제안 방법

• 손실 함수의 최악의 경우 기울기 노름을 최적화하여 최악의 경우 적대적 훈련(WCAT)을 도입한다.
• 기울기의 최대 노름을 사용하여 손실 함수를 정규화함으로써 리프시츠 연속성을 강제한다.
• 이미지 처리 맥락에서 적대적 훈련을 총변동성 정규화의 한 형태로 공식화한다.
• 손실 함수의 기울기 노름의 기대값과 최대값에 기반한 검증 가능한 방어력 보장을 유도한다.
• 최적화 중에 적대적 방어력을 대체로 사용하기 위해 최악의 경우 기울기 노름을 사용한다.

실험 결과

연구 질문

• RQ1 손실의 리프시츠 정규화가 표준 적대적 훈련을 넘어서 적대적 방어력을 향상시킬 수 있는가?
• RQ2 WCAT는 ℓ₂ 노이즈에 대한 CIFAR-10에서 최첨단 기법 대비 얼마나 높은 정확도를 보이는가?
• RQ3 손실 함수의 기울기 노름에서 검증 가능한 방어력 보장을 도출할 수 있는가?
• RQ4 적대적 훈련과 총변동성 정규화 사이의 이론적 연결 고리는 무엇인가?

주요 결과

• WCAT는 ℓ₂ 노름 노이즈에 대한 CIFAR-10에서 최첨단 기법 대비 11% 높은 적대적 방어력을 달성한다.
• 이 방법은 손실의 기울기 노름에 기반하여 평균 케이스 및 최악의 경우 방어력에 대한 검증 가능한 보장을 제공한다.
• 적대적 훈련은 이미지 처리 프레임워크 내에서 총변동성 정규화로 공식적으로 해석된다.
• WCAT는 손실의 리프시츠 정규화와 동일시되며, 방어 훈련에 대한 새로운 이론적 시각을 제공한다.