[논문 리뷰] Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

Sizhe Chen, Geng Yuan외 5명|arXiv (Cornell University)|2022. 11. 22.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 자기-앙상블 보호(Self-Ensemble Protection, SEP)를 제안하며, 단일 딥 네ural 네트워크의 훈련 체크포인트에서 유도된 기울기를 활용해 인식이 어려운 변형을 생성함으로써 훈련 중 분류를 지속적으로 회피하는 새로운 데이터 풀링 방법이다. 체크포인트 간의 높은 기울기 다양성(다른 아키텍처를 가진 모델과 유사함)을 이용함으로써 SEP는 최신 기술 수준의 성능을 달성하며, ℓ∞=2/255 조건에서 CIFAR-10에서 ResNet18의 정확도를 94.56%에서 14.68%로 감소시켜 이전 방법들보다 크게 뛰어나다.

ABSTRACT

As data becomes increasingly vital, a company would be very cautious about releasing data, because the competitors could use it to train high-performance models, thereby posing a tremendous threat to the company's commercial competence. To prevent training good models on the data, we could add imperceptible perturbations to it. Since such perturbations aim at hurting the entire training process, they should reflect the vulnerability of DNN training, rather than that of a single model. Based on this new idea, we seek perturbed examples that are always unrecognized (never correctly classified) in training. In this paper, we uncover them by model checkpoints' gradients, forming the proposed self-ensemble protection (SEP), which is very effective because (1) learning on examples ignored during normal training tends to yield DNNs ignoring normal examples; (2) checkpoints' cross-model gradients are close to orthogonal, meaning that they are as diverse as DNNs with different architectures. That is, our amazing performance of ensemble only requires the computation of training one model. By extensive experiments with 9 baselines on 3 datasets and 5 architectures, SEP is verified to be a new state-of-the-art, e.g., our small $\ell_\infty=2/255$ perturbations reduce the accuracy of a CIFAR-10 ResNet18 from 94.56% to 14.68%, compared to 41.35% by the best-known method. Code is available at https://github.com/Sizhe-Chen/SEP.

연구 동기 및 목표

• 딥 러닝 훈련 과정의 데이터 풀링에 대한 취약성을 다루며, 개별 모델의 강건성에만 집중하지 않는 것.
• 다중 모델 훈련을 피하기 위해 중간 훈련 체크포인트를 활용하는 실용적이고 저비용의 데이터 보호 방법을 개발하는 것.
• 모델 체크포인트가 효과적인 데이터 풀링을 위해 다양성이 있는 앙상블로 기능할 수 있는지 탐구하며, 체크포인트가 너무 유사할 것이라는 가정에 도전하는 것.
• 오류 특징을 체크포인트 간에 일치시키는 특징 일치 손실과 분산 감소 기법을 도입해 풀링 효과를 향상시키는 것.

제안 방법

• 이 방법은 단일 DNN의 다수의 중간 훈련 체크포인트에서 기울기를 계산하여 보호 변형을 생성함으로써, 복수의 모델이 필요 없이 자기-앙상블을 형성한다.
• 이들은 체크포인트 간 기울기의 놀라운 수직성(orthogonality)을 이용하며, 이는 서로 다른 아키텍처를 가진 모델과 유사한 높은 다양성을 나타낸다.
• 보호된 예시의 마지막 레이어 특징을 잘못된 클래스 특징의 평균으로 압축시키는 새로운 특징 일치(FA) 손실을 도입하여 모델의 혼란을 심화시킨다.
• 다수의 체크포인트에서 기울기를 평균화하여 최적화 과정을 안정화시키기 위해 분산 감소(VR) 기법을 적용함으로써 강건성과 일관성을 향상시킨다.
• ℓ∞ 및 ℓ0 변형을 조합하여, 다른 변형 유형에 비해 정확도를 복구하는 경향이 있는 ℓ∞ 적대적 훈련 방어를 효과적으로 우회한다.
• 이 방법은 타겟된 앙상블 공격으로 구현되며, 신경망 붕괴와 특징 추출기가 존재하는 비분류 작업에서도 효과적이다.

실험 결과

연구 질문

• RQ1 동일한 아키텍처에서 유도된 훈련 체크포인트가 여전히 데이터 풀링에 적합한 다양성을 가진 앙상블로 기능할 수 있는가?
• RQ2 체크포인트 간 기울기 다양성이 서로 다른 아키텍처를 가진 모델의 기울기 다양성과 비슷한가? 이는 효과적인 자기-앙상블 보호를 가능하게 하는가?
• RQ3 보호된 예시를 잘못된 클래스 평균으로 특징 일치시키는 특징 일치 손실이 모델 일반화 능력을 상당히 떨어뜨릴 수 있는가?
• RQ4 특징 일치와 분산 감소의 조합이 최신 기술 수준의 풀링 성능을 달성하는 데 필수적인가?
• RQ5 ℓ∞ 및 ℓ0 변형을 혼합하면 ℓ∞ 적대적 훈련을 효과적으로 우회할 수 있는가? 이는 다른 변형 유형에 비해 정확도를 복구하는 경향이 있기 때문이다.

주요 결과

• SEP는 ℓ∞=2/255 변형을 사용하여 CIFAR-10에서 ResNet18의 테스트 정확도를 94.56%에서 14.68%로 감소시키며, 이는 이전 최고 성능 방법(41.35%)보다 크게 뛰어나다.
• 이 방법은 단일 모델 훈련의 계산 비용만으로도 뛰어난 성능을 달성하며, 복수의 DNN 훈련이 필요 없음을 보여준다.
• 특징 일치(FA)와 분산 감소(VR)는 항상 성능 향상을 이끌며, SEP-FA-VR은 CIFAR-10에서 다섯 개의 아키텍처에 대해 평균 정확도를 17.47%로 낮춘다.
• 성능가 포화점은 약 30개의 체크포인트에서 관찰되며, 이 이상일 경우 수익 감소가 나타나므로 계산적으로 효율적이다.
• ℓ∞ 및 ℓ0 변형을 혼합하는 것이 ℓ∞ 적대적 훈련을 우회하는 데 유일하게 효과적인 전략이며, 이 외의 변형 유형은 일반적으로 정확도를 복구한다.
• 정제된 샘플은 특징 공간에서 서로 가까이 유지되지만, 보호된 샘플은 별도의 분포로 밀려나므로 효과적인 데이터 풀링이 이루어졌음을 시사한다.