[논문 리뷰] Second Order Optimization for Adversarial Robustness and Interpretability

Theodoros Tsiligkaridis, Jay Roberts|arXiv (Cornell University)|2020. 09. 10.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 6

한 줄 요약

이 논문은 프랭크-울프 반복을 통해 적대적 리스크의 이차 근사화를 이용한 SCORPIO를 제안한다. 이는 적대적 내성 강화와 모델의 해석 가능성 향상을 위해 설계되었으며, 표준 적대적 훈련과 유사한 내성을 확보하면서도 훨씬 적은 훈련 시간과 더 적은 기울기 가로막힘을 달성한다. 또한 더 높은 품질의 인간이 이해할 수 있는 중요도 맵을 생성하여 모델 설명을 향상시킨다.

ABSTRACT

Deep neural networks are easily fooled by small perturbations known as adversarial attacks. Adversarial Training (AT) is a technique aimed at learning features robust to such attacks and is widely regarded as a very effective defense. However, the computational cost of such training can be prohibitive as the network size and input dimensions grow. Inspired by the relationship between robustness and curvature, we propose a novel regularizer which incorporates first and second order information via a quadratic approximation to the adversarial loss. The worst case quadratic loss is approximated via an iterative scheme. It is shown that using only a single iteration in our regularizer achieves stronger robustness than prior gradient and curvature regularization schemes, avoids gradient obfuscation, and, with additional iterations, achieves strong robustness with significantly lower training time than AT. Further, it retains the interesting facet of AT that networks learn features which are well-aligned with human perception. We demonstrate experimentally that our method produces higher quality human-interpretable features than other geometric regularization techniques. These robust features are then used to provide human-friendly explanations to model predictions.

연구 동기 및 목표

• 표준 적대적 훈련(AT)의 높은 계산 비용을 해결하면서도 강력한 내성을 유지하고자 한다.
• AT에서 흔히 발생하는 기울기 가로막힘을 줄이기 위해 훈련 과정에 곡률 정보를 통합하고자 한다.
• 대비 설명을 지원하는 강력하고 인간 중심의 특징을 학습함으로써 모델의 해석 가능성 향상을 도모하고자 한다.
• 유용한 양성 및 음성 특징을 활용해 효율적이고 고품질의 중요도 맵을 생성할 수 있는 정규화 기법을 개발하고자 한다.
• 적대적 공격에서의 고계 정보가 더 신뢰할 수 있고 해석 가능한 강력한 모델을 도출하는 데 기여함을 입증하고자 한다.

제안 방법

• 데이터 포인트 근처의 악성 상황에서의 손실 최악화를 모델링하기 위해 일阶 및 이阶 기울기 정보를 활용한 국소 이차 근사화 기반 정규화 기법을 제안한다.
• 비용이 많이 드는 투영을 피하고 하이퍼파ram터 조정을 줄이기 위해 투영 없이 구현된 프랭크-울프 반복 기반 접근법을 사용하여 근사된 적대적 공격 문제를 해결한다.
• 유한 차분 근사법을 활용해 곡률 정보를 효율적으로 계산함으로써 표준 AT보다 빠른 훈련이 가능하며, 추가 계산 비용은 최소한으로 유지한다.
• 이차 근사된 적대적 손실을 훈련 목표 함수에 정규화 항으로 통합하여 손실 표면의 매끄러움을 증진시킨다.
• 편차 δ_max와 δ_min를 활용한 대비 설명 프레임워크를 개발하여 관련 양성 및 음성 특징을 식별함으로써 인간에게 친화적인 모델 설명을 가능하게 한다.
• L² 및 L∞ 내성 모두에 적용하여 다양한 적대적 노름에서 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 표준 적대적 훈련과 비교해 훈련 시간을 줄이면서도 내성을 유지할 수 있는가?
• RQ2 공격 근사화 과정에 곡률 정보를 통합함으로써 기울기 기반 정규화나 AT보다 기울기 가로막힘을 줄일 수 있는가?
• RQ3 결과적으로 도출된 강력한 모델이 기존 기하 정규화 기법보다 더 높은 품질의 인간이 이해할 수 있는 중요도 맵을 생성할 수 있는가?
• RQ4 SCORPIO로 훈련된 모델에 대해 이차 근사 공격이 표준 PGD 공격만큼 효과적으로 적대적 예외를 식별할 수 있는가?
• RQ5 SCORPIO를 통해 학습된 강력한 특징이 모델 예측에 대한 의미 있는 대조적 설명을 지원하는 데 얼마나 효과적인가?

주요 결과

• SCORPIO는 표준 적대적 훈련과 거의 동일한 내성을 확보하면서도 훨씬 적은 훈련 시간을 기록한다. 이는 단 한 번의 프랭크-울프 반복만으로도 달성된다.
• SCORPIO는 적대적 훈련보다 기울기 가로막힘을 덜 겪으며, 강력한 블랙박스 공격이 SCORPIO 정규화 모델에 성공적으로 적용된 것으로 확인된다.
• 이차 근사 공격이 SCORPIO로 훈련된 모델에 대해 PGD 공격만큼 효과적으로 적대적 예외를 식별함을 확인함으로써 근사화의 타당성이 입증되었다.
• SCORPIO는 이전의 기하 정규화 기법보다 더 높은 품질의 중요도 맵을 생성하며, 더 명확하고 의미적으로 더 풍부한 관련 양성 및 음성 특징을 제공한다.
• δ_min 및 δ_max 기반의 대비 설명 프레임워크는 잘못된 예측에 기여하는 핵심 특징(예: 이미지에서 마스트나 날개의 부재)을 성공적으로 식별하였다.
• 이 방법은 L² 및 L∞ 내성 모두에 일반화되며, 다양한 적대적 노름에서 일관된 내성 및 해석 가능성 향상을 보였다.