[논문 리뷰] Enhancing Certifiable Robustness via a Deep Model Ensemble

Huan Zhang, Minhao Cheng외 1명|arXiv (Cornell University)|2019. 10. 31.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 10

한 줄 요약

이 논문은 분류 마진의 하한을 최적화함으로써 개별 강건 모델의 가중치를 최적화하는 좌표 강내림을 통해 딥 네URAL 네트워크의 검증 가능 강건성을 향상시키는 새로운 앙상블 방법인 RobBoost를 제안한다. 이는 단순 평균화와 단일 모델 기반 검증 방어법을 초월하여 MNIST 및 CIFAR-10에서 최신 기준의 검증 오차와 클린 정확도를 달성한다.

ABSTRACT

We propose an algorithm to enhance certified robustness of a deep model ensemble by optimally weighting each base model. Unlike previous works on using ensembles to empirically improve robustness, our algorithm is based on optimizing a guaranteed robustness certificate of neural networks. Our proposed ensemble framework with certified robustness, RobBoost, formulates the optimal model selection and weighting task as an optimization problem on a lower bound of classification margin, which can be efficiently solved using coordinate descent. Experiments show that our algorithm can form a more robust ensemble than naively averaging all available models using robustly trained MNIST or CIFAR base models. Additionally, our ensemble typically has better accuracy on clean (unperturbed) data. RobBoost allows us to further improve certified robustness and clean accuracy by creating an ensemble of already certified models.

연구 동기 및 목표

• 개별 모델을 초월하는 검증 가능한 강건성을 확보하는 앙상블 방법을 개발하는 것.
• 적대적 공격에 대한 공식적인 강건성 보장을 갖지 못하는 기존 앙상블 방법의 한계를 해결하는 것.
• 딥 앙상블의 모델 가중치를 최적화하여 분류 마진의 하한을 최대화함으로써 더 강력한 강건성 검증을 보장하는 것.
• 기존에 검증된 모델들을 최적의 가중치로 조합함으로써 단순 평균화보다 더 높은 강건성과 정확도를 달성할 수 있음을 보여주는 것.
• 기존 앙상블의 약점을 보완하기 위해 순차적으로 모델을 훈련하는 기울기 부스팅 유사 훈련 설정으로 프레임워크를 확장하는 것.

제안 방법

• 앙상블의 분류 마진 하한을 최대화하는 문제로 최적의 앙상블 가중치 부여 문제를 수식화하며, 이는 검증 가능한 강건성의 하한에서 유도된다.
• 기타 가중치를 고정한 채 각 기본 모델의 가중치를 순차적으로 최적화하는 좌표 강내림을 사용하여 마진 하한을 향상시킨다.
• 선형 근사 및 이중성 기반의 검증 가능한 강건성 하한(예: Wong & Kolter, 2018)을 적용하여 앙상블의 강건성 검증을 효율적으로 수행한다.
• 기존 앙상블의 검증 오차를 최소화하도록 훈련하는 새로운 모델을 순차적으로 학습시키는 기울기 부스팅 변형을 도입하며, 잘못 분류되거나 취약한 예시에 집중한다.
• ℓ∞ 노이즈에 대한 검증 가능한 강건성을 확보하기 위해 볼록 적대적 폴리토프 훈련을 사용하여 개별 기본 모델을 생성한다.
• 다양한 아키텍처와 특징 부분 샘플링된 모델을 사용하여 MNIST 및 CIFAR-10에서 검증하여 일반화 및 강건성 향상 정도를 평가한다.

실험 결과

연구 질문

• RQ1 검증 가능한 모델의 앙상블을 최적의 가중치로 조합하면 단순 평균화보다 더 높은 검증 가능한 강건성을 달성할 수 있는가?
• RQ2 분류 마진의 하한을 최적화하는 것이 딥 네URAL 네트워크 앙상블의 검증 오차와 클린 정확도 향상에 기여하는가?
• RQ3 기울기 부스팅 유사 훈련 절차를 통해 기존의 약점을 보완하는 순차적 모델 훈련이 앙상블의 강건성을 추가로 향상시킬 수 있는가?
• RQ4 작고 강건한 모델의 소형 앙상블이 단일의 큰 최신 기술 모델보다 검증 오차와 클린 오차 측면에서 더 나은 성능을 보일 수 있는가?
• RQ5 기본 모델에서 특징 샘플링을 적용할 경우 RobBoost 앙상블의 성능는 공통 아키텍처를 가진 모델과 비교해 어떻게 영향을 받는가?

주요 결과

• ℓ∞ 노이즈 ε=0.3인 MNIST에서 RobBoost는 단순 평균의 36.0%에서 검증 오차를 34.0%로 감소시켜 단일 모델 최신 기술(43.1% 검증 오차)을 초월한다.
• ε=2/255인 CIFAR-10에서 RobBoost는 53.61%의 검증 오차를 기록하여 단순 앙상블의 55.07%보다 우수한 성능을 보이며 일관된 향상을 입증한다.
• 기본 평균보다 RobBoost 앙상블의 클린 정확도가 높으며, MNIST(ε=0.3)에서 12.51%의 클린 오차를 기록하여 단순 평균의 13.34%보다 우수하다.
• 기울기 부스팅 설정에서 첫 2~3개 모델이 검증 오차 감소에 가장 큰 기여를 하며, 추가 모델이 더 큰 성능 향상을 이끌어내는 것으로 나타나 점진적 향상이 이루어진다.
• RobBoost 앙상블의 마진 하한 분포는 단순 앙상블보다 양의 값 쪽으로 이동해 더 강력한 검증 가능한 강건성을 나타낸다.
• 더 작은, 다양한 모델을 사용하지만 Wong et al., 2018의 단일 큰 검증 가능한 모델을 초월하여 검증 오차와 클린 오차 양면에서 RobBoost가 더 나은 성능을 보였다.