[논문 리뷰] Can we achieve robustness from data alone?

Nikolaos Tsilivis, Jingtong Su외 1명|arXiv (Cornell University)|2022. 07. 24.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 신경 장경계 커널(NTK)을 사용한 커널 회귀를 통해 표준 훈련이 기울기 기반 공격에 강건한 모델을 생성할 수 있도록 훈련 데이터를 최적화하는 메타학습 알고리즘 adv-KIP를 제안한다. PGD 공격에 대해 높은 강건성을 보이지만, 기울기 왜곡과 과도한 확신으로 인해 AutoAttack에 실패하며, 이는 잘못된 강건성의 오해를 드러낸다.

ABSTRACT

We introduce a meta-learning algorithm for adversarially robust classification. The proposed method tries to be as model agnostic as possible and optimizes a dataset prior to its deployment in a machine learning system, aiming to effectively erase its non-robust features. Once the dataset has been created, in principle no specialized algorithm (besides standard gradient descent) is needed to train a robust model. We formulate the data optimization procedure as a bi-level optimization problem on kernel regression, with a class of kernels that describe infinitely wide neural nets (Neural Tangent Kernels). We present extensive experiments on standard computer vision benchmarks using a variety of different models, demonstrating the effectiveness of our method, while also pointing out its current shortcomings. In parallel, we revisit prior work that also focused on the problem of data optimization for robust classification \citep{Ily+19}, and show that being robust to adversarial attacks after standard (gradient descent) training on a suitable dataset is more challenging than previously thought.

연구 동기 및 목표

• 적대적 강건성이 특수한 훈련 알고리즘을 수정하지 않고도 데이터 최적화만으로 달성될 수 있는지 조사하는 것.
• 모델에 종속되지 않는 방법을 개발하여 데이터셋을 사전 처리하여 비강건한 특징을 제거하고 강건한 일반화를 향상시키는 것.
• 최적화된 데이터에서 표준 훈련을 통해 적대적 훈련과 비교할 만한 강건한 모델을 얻을 수 있는지 평가하는 것.
• 데이터 최적화 모델이 일부 공격에는 강건해 보이지만 다른 공격, 특히 적응형 공격에는 실패하는 이유를 진단하는 것.

제안 방법

• 무한히 넓은 신경망을 모델링하는 신경 장경계 커널(NTK)을 기반으로 데이터 최적화를 이중 최적화 문제로 공식화한다.
• 메타 최적화 프레임워크를 사용해 적대적 편향에 대한 강건 손실을 최소화할 수 있도록 반복적으로 훈련 데이터를 조정한다.
• 기울기 기반 접근법을 사용해 데이터셋을 최적화하여, 해당 데이터로 훈련된 모델이 기울기 기반 공격에 대해 높은 강건성을 보이도록 한다.
• 커널 유도 점(KIP) 프레임워크를 기반으로 하되, 적대적 훈련 신호를 통해 적대적 강건성으로 확장한다.
• 다양한 커널 유형과 편향 집합(ε = 0.3, PGD 단계 = 10)을 사용해 표준 벤치마크(MNIST, CIFAR-10)에 적용한다.
• 실패 모드를 진단하기 위해 기울기 노름, 신뢰도 히스토GRAM, 손실 분해 분석을 수행한다.

실험 결과

연구 질문

• RQ1 적대적 강건성이 훈련 알고리즘을 수정하지 않고도 데이터 최적화만으로 달성될 수 있는가?
• RQ2 최적화된 데이터셋에서 표준 훈련을 수행하면 기울기 기반 적대적 공격에 강건한 모델이 생성되는가?
• RQ3 PGD 공격에 대해 높은 강건성을 보이지만, AutoAttack과 같은 적응형 공격에 실패하는 이유는 무엇인가?
• RQ4 기울기 왜곡이나 과도한 확신과 같은 데이터 최적화 모델의 기본적인 실패 메커니즘은 무엇인가?
• RQ5 표준 적대적 훈련으로 훈련된 모델과 비교해 데이터 최적화 모델의 특성은 어떻게 다른가?

주요 결과

• MNIST에서 adv-KIP는 강건 정확도를 0.07%에서 42.94%로 향상시키며, 정상 정확도는 97.67%를 유지했다.
• CIFAR-10에서 adv-KIP로 최적화된 데이터로 훈련된 모델은 PGD 공격에 대해 높은 강건성을 보였지만, AutoAttack에는 완전히 실패했다.
• 정확하게 분류된 예측에서 기울기의 급격한 감소를 보이며, 기울기 왜곡을 나타내는 특징적인 강건성의 취약성을 보였다.
• adv-KIP와 RFD 데이터셋 모두 잘못 분류된 예측에서 기울기 노름의 폭발을 유도해 나쁜 학습 역학을 시사했다.
• 최적화된 데이터로 훈련된 모델은 매우 과도하게 확신하며 캘리브레이션 수준이 낮았고, 적대적 훈련된 모델과는 달리 균형 잡힌 신뢰도 프로필을 가지지 못했다.
• 이 연구는 기울기 기반 최적화를 통한 데이터 기반 강건성은 적응형 공격으로의 일반화가 이루어지지 않아 잘못된 안전감을 유도할 수 있음을 드러냈다.