[논문 리뷰] IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound

Alessandro De Palma, Rudy Bunel외 3명|arXiv (Cornell University)|2022. 06. 29.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 확장된 교란 영역에서의 적대적 공격과 간격 경계 전파(IBP) 정규화를 결합하여 검증 가능한 이론적 완화를 강화함으로써, 적대적 내성 향상을 위한 단순하면서도 효과적인 검증 훈련 방법인 IBP-R을 제안한다. IBP-R은 CIFAR-10에서 ε=2/255일 때 기존 방법들인 COLT보다 훈련 시간의 1/3 미만으로 상태최저 수준의 검증 정확도(61.97)를 달성하며, FSB와 유사한 검증 성능을 낮은 오버헤드로 제공하는 저비용 분할 전략인 UPB도 도입한다.

ABSTRACT

Recent works have tried to increase the verifiability of adversarially trained networks by running the attacks over domains larger than the original perturbations and adding various regularization terms to the objective. However, these algorithms either underperform or require complex and expensive stage-wise training procedures, hindering their practical applicability. We present IBP-R, a novel verified training algorithm that is both simple and effective. IBP-R induces network verifiability by coupling adversarial attacks on enlarged domains with a regularization term, based on inexpensive interval bound propagation, that minimizes the gap between the non-convex verification problem and its approximations. By leveraging recent branch-and-bound frameworks, we show that IBP-R obtains state-of-the-art verified robustness-accuracy trade-offs for small perturbations on CIFAR-10 while training significantly faster than relevant previous work. Additionally, we present UPB, a novel branching strategy that, relying on a simple heuristic based on $β$-CROWN, reduces the cost of state-of-the-art branching algorithms while yielding splits of comparable quality.

연구 동기 및 목표

• 작은 교란에 대해 높은 검증 가능한 내성을 확보할 수 있는 단순하면서도 효과적인 검증 훈련 방법을 개발하는 것.
• 성능을 희생시키지 않고 검증 가능한 내성 훈련 방법의 훈련 비용을 줄이는 것.
• 새로운 저비용 분할 전략을 도입하여 분할·경계 검증의 효율성을 향상시키는 것.
• 적대적으로 강건한 신경망에서 검증 가능성과 실용적 훈련 효율성 간 격차를 해소하는 것.

제안 방법

• IBP-R은 목표 내성 반경보다 훨씬 넓은 교란 영역에서 적대적 공격을 수행하여 일반화 및 검증 가능성을 향상시킨다.
• 비볼록 검증 문제와 그 볼록 이완 간의 격차를 최소화하기 위해 간격 경계 전파(IBP) 기반 정규화 항을 적용한다.
• 최근의 분할·경계 프레임워크를 활용하여 훈련된 네트워크의 효율적이고 스케일러블한 검증을 가능하게 한다.
• UPB는 β-CROWN의 이중 정보를 사용하여 최소한의 계산 비용으로 분할 결정의 우선순위를 히우리스틱적으로 평가하는 새로운 분할 전략이다.
• UPB는 단일 그래디언트 역전파 비용으로 분할 우선순위를 계산하므로 최신 기술 대비 매우 효율적이다.
• 이 방법은 검증에 사용되는 볼록 이완의 날카움을 향상시키는 수정된 훈련 목표와 함께 IBP 정규화를 결합한다.

실험 결과

연구 질문

• RQ1 IBP 정규화를 적용한 단순한 훈련 절차가 작은 교란에 대해 최상의 검증 가능한 내성을 달성할 수 있는가?
• RQ2 IBP-R은 기존의 검증 훈련 방법들인 COLT와 비교해 훈련 속도와 검증 정확도에서 어떻게 성능을 내는가?
• RQ3 UPB와 같은 저비용 분할 전략이 FSB와 같은 고비용 최신 기술의 검증 성능을 유사하게 달성할 수 있는가?
• RQ4 확대된 공격 영역을 사용하면 적대적 훈련된 네트워크의 검증 가능성은 향상되는가?

주요 결과

• ε=2/255일 때, IBP-R은 CIFAR-10에서 검증 정확도 61.97, MI-FGSM 공격 하에서 내성 정확도 66.39, 자연 정확도 78.19를 기록한다.
• ε=2/255일 때, IBP-R은 COLT가 요구하는 시간의 1/3 미만으로 훈련을 완료하면서도 검증 정확도에서 앞서며 성능을 뛰어넘는다.
• ε=8/255일 때, IBP-R은 경쟁 가능한 검증 정확도를 달성하면서도 COLT 대비 훈련 시간을 약 50% 감소시킨다.
• UPB는 FSB와 유사한 검증 성능을 보이며, 평균 실행 시간은 각각 ε=2/255일 때 98.87초, ε=8/255일 때 100.19초이며, 타임아웃 비율은 각각 5.16%와 4.46%로 매우 낮다.
• ε=2/255일 때 UPB는 방문한 하위문제 수를 줄이며, ε=8/255일 때는 약간 증가하지만 최소한의 오버헤드로 강력한 성능 유지를 유지한다.
• COLT의 Jax 구현체는 ε=2/255와 ε=8/255일 때 각각 5.7배와 4.4배의 속도 향상을 보이며, 시간 측정 비교의 공정성을 입증한다.