[논문 리뷰] Adversarial Robustness through Regularization: A Second-Order Approach.

Avery Ma, Fartash Faghri외 1명|arXiv (Cornell University)|2020. 04. 04.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 두 번째 차수의 적대적 정규화 기법(SOAR)을 제안하며, 내부 최대화(adversarial loss)를 두 번째 차수 테일러 전개로 근사하여 강화된 최적화를 위한 상한선을 제공함으로써 딥 네ural 네트워크의 강건성을 향상시킨다. CIFAR-10에서 SOAR는 표준 적대적 훈련에 비해 향상된 강건한 정확도를 달성한다.

ABSTRACT

Adversarial training is a common approach to improving the robustness of deep neural networks against adversarial examples. In this work, we propose a novel regularization approach as an alternative. To derive the regularizer, we formulate the adversarial robustness problem under the robust optimization framework and approximate the loss function using a second-order Taylor series expansion. Our proposed second-order adversarial regularizer (SOAR) is an upper bound based on the Taylor approximation of the inner-max in the robust optimization objective. We empirically show that the proposed method improves the robustness of networks on the CIFAR-10 dataset.

연구 동기 및 목표

• 딥 네ural 네트워크가 적대적 예제에 취약한 문제를 다루기 위해.
• 기존의 적대적 훈련에 대체할 수 있는 정규화 기반의 접근법을 개발하기 위해.
• 강건 최적화 목표의 두 번째 차수 근사를 유도하여 일반화 성능을 향상시키기 위해.
• 테일러 전개를 통해 적대적 손실에 대한 더 날카운 상한선을 제공하기 위해.
• CIFAR-10과 같은 표준 벤치마크에서 개선된 강건성을 실증적으로 검증하기 위해.

제안 방법

• 강건 최적화 프레임워크 내에서 적대적 강건성을 수립한다.
• 입력 데이터 포인트 주변의 두 번째 차수 테일러 급수 전개를 사용하여 내부 최대화 적대적 손실을 근사한다.
• 테일러 근사를 기반으로 진짜 적대적 손실에 대한 상한선이 되는 정규화 기법을 유도한다.
• 표준 훈련 목표에 두 번째 차수 정규화 기법을 통합하여 강건성을 향상시킨다.
• 새로운 정규화된 손실 함수를 사용하여 표준 백프로파게이션으로 네트워크를 최적화한다.
• 정규화 기법이 손실 표면의 곡률 정보를 포착하여 적대적 변형을 더 잘 모델링할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 적대적 손실의 두 번째 차수 테일러 근사는 일계 수준의 방법보다 더 날카운 더 효과적인 정규화 기법을 제공할 수 있는가?
• RQ2 제안된 두 번째 차수 정규화 기법은 표준 적대적 훈련을 넘어서 강건한 일반화 성능을 향상시키는가?
• RQ3 곡률 인식 정규화 기법은 CIFAR-10과 같은 표준 벤치마크에서 강건 정확도에 어떤 영향을 미치는가?
• RQ4 두 번째 차수 정규화 기법은 표준 딥 네트워크에 대해 계산적으로 실현 가능하고 확장 가능한가?
• RQ5 테일러 전개로부터 도출된 상한선은 적대적 공격에 대비하여 모델을 효과적으로 제약할 수 있는가?

주요 결과

• 제안된 두 번째 차수 적대적 정규화 기법(SOAR)은 일계 근사 방법보다 적대적 손실에 대해 더 날카운 상한선을 제공한다.
• SOAR는 표준 적대적 훈련에 비해 CIFAR-10 데이터셋에서 강건한 정확도를 향상시킨다.
• 두 번째 차수 근사는 곡률 정보를 포착하여 적대적 변형에 대한 더 나은 일반화 성능을 이끈다.
• 훈련 중에 반복적인 적대적 공격 생성이 필요 없이도 강건성이 향상된다.
• 정규화 기법은 계산적으로 효율적이며 표준 딥 러닝 훈련 파이프라인과 호환된다.
• 실증 결과는 두 번째 차수 접근법이 CIFAR-10에서 기준 방법들보다 적대적 강건성에서 뛰어난 성능을 보임을 확인한다.