[논문 리뷰] Lipschitz regularized Deep Neural Networks generalize and are adversarially robust

Chris Finlay, Jeff Calder외 2명|arXiv (Cornell University)|2018. 08. 28.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 25

한 줄 요약

이 논문은 딥 네ural 네트워크에서 일반화 성능과 적대적 공격에 대한 강건성을 향상시키기 위해 리프시츠 정규화를 제안한다. 모델의 리프시츠 상수를 제약함으로써, 저자들은 네트워크 깊이에 의존하지 않는 일반화 경계를 증명하고, 실험적으로 정규화된 모델이 적대적 공격에 더 강건하다는 것을 보여주며, 기울기 노름을 효과적인 공격 탐지기로 사용한다.

ABSTRACT

In this work we study input gradient regularization of deep neural networks, and demonstrate that such regularization leads to generalization proofs and improved adversarial robustness. The proof of generalization does not overcome the curse of dimensionality, but it is independent of the number of layers in the networks. The adversarial robustness regularization combines adversarial training, which we show to be equivalent to Total Variation regularization, with Lipschitz regularization. We demonstrate empirically that the regularized models are more robust, and that gradient norms of images can be used for attack detection.

연구 동기 및 목표

• 특히 고깊이 아키텍처에서 일반화 보장이 부족한 문제를 해결한다.
• 네트워크 깊이에 의존하지 않는 방법을 개발하여 일반화 경계에서 차원의 극복 문제를 해결한다.
• 정확도를 희생시키지 않고 적대적 강건성을 향상시켜 일반적으로 관찰되는 강건성과 정확도 사이의 상충관계를 해소한다.
• 리프시츠 정규화와 총 변동량 정규화, 적대적 훈련 사이의 이론적 프레임워크를 수립한다.
• 손실 함수의 기울기 노름을 이용해 적대적 예측을 탐지할 수 있도록 한다.

제안 방법

• 입력 변화에 대한 모델 민감도를 제어하기 위해 리프시츠 정규화 항을 포함한 수정된 손실 함수를 도입한다.
• 변분 방법과 역문제 이론을 사용하여 일반화 경계를 증명하고, 층 수에 의존하지 않는 수렴 속도를 보여준다.
• 적대적 훈련과 총 변동량 정규화 사이의 등가성을 확립하며, 이를 리프시츠 제어와 연결한다.
• 베르슈타인 부등식을 사용하여 분할된 입력 영역에서 경험적 위험의 이탈을 제한함으로써 고확률 일반화 보장을 가능하게 한다.
• 적대적 입력이 더 높은 기울기를 유도한다는 사실을 활용하여 손실 함수의 기울기 노름을 적대적 예측 탐지 신호로 활용한다.
• 지오데식 구와 지수 매핑을 사용한 다양체 위에서 리만 기하학 기법을 적용하여 유클리드 영역 외부로 일반화 경계를 확장한다.

실험 결과

연구 질문

• RQ1 리프시츠 정규화가 층 수에 의존하지 않는 딥 네럴 네트워크의 일반화 경계를 제공할 수 있는가?
• RQ2 리프시츠 정규화는 적대적 강건성과 총 변동량 정규화와 어떻게 관련이 있는가?
• RQ3 손실 함수의 기울기 노름은 적대적 입력 존재 여부를 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ4 리프시츠 정규화는 딥 네트워크에서 강건성과 정확도 사이의 조절 가능한 트레이드오프를 가능하게 하는가?
• RQ5 비모수 설정에서 리프시츠 정규화된 모델에 대해 이론적 수렴 속도를 유도할 수 있는가?

주요 결과

• 논문은 리프시츠 정규화된 딥 네럴 네트워크가 층 수에 의존하지 않는 수렴 속도로 일반화됨을 증명하며, 이는 이전 연구에서 관찰된 지수적 의존성과는 다름을 보여준다.
• 실험 결과로 리프시츠 정규화가 적대적 강건성을 향상시키며, 깨끗한 테스트 데이터에서 높은 정확도를 유지함을 보여준다.
• 손실 함수의 기울기 노름은 적대적 예측에서 깨끗한 입력보다 크게 증가하므로, 효과적인 공격 탐지가 가능하다.
• 저자들은 적대적 훈련이 총 변동량 정규화와 등가임을 입증하며, 강건성과 부드러움 사이의 이론적 연결 고리를 제공한다.
• 베르슈타인 부등식과 리만 기하학을 사용하여 일반화 경계를 도출하였으며, 경험적 위험가 진짜 위험에서의 이탈에 대해 고확률 보장을 제공한다.
• 정규화 파라미터를 조정하여 리프시츠 상수와 기대 손실 사이의 트레이드오프를 제어할 수 있어, 원하는 강건성-정확도 균형을 갖는 실용적 구현이 가능하다.