[논문 리뷰] Certified Training: Small Boxes are All You Need

Mark Niklas Müller, Franziska Eckert외 2명|arXiv (Cornell University)|2022. 10. 10.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

SABR는 상자 근사법을 사용하여 입력 변형 영역의 작고 신중하게 선택된 부분집합을 전파함으로써 과도한 정규화를 줄이고 최적화의 취급 용이성을 유지하면서 MNIST, CIFAR-10 및 TinyImageNet에서 표준 및 인증 정확도 모두 최고 수준을 달성하는 공인된 훈련 방법이다.

ABSTRACT

To obtain, deterministic guarantees of adversarial robustness, specialized training methods are used. We propose, SABR, a novel such certified training method, based on the key insight that propagating interval bounds for a small but carefully selected subset of the adversarial input region is sufficient to approximate the worst-case loss over the whole region while significantly reducing approximation errors. We show in an extensive empirical evaluation that SABR outperforms existing certified defenses in terms of both standard and certifiable accuracies across perturbation magnitudes and datasets, pointing to a new class of certified training methods promising to alleviate the robustness-accuracy trade-off.

연구 동기 및 목표

• 정확도-강건성 간 상충 관계를 해결하기 위해 정확도가 떨어지는 최악의 손실 근사치에 기인한 과도한 정규화를 줄이기 위해.
• 완전한 입력 영역을 사용하고 정확도가 떨어지는 근사치를 적용하는 기존의 표준 인증 훈련 방법의 한계를 극복하기 위해.
• 선택적 영역 전파를 통해 더 날카운 최악의 손실 근사치를 확보하면서도 계산의 취급 용이성을 유지하는 방법을 개발하기 위해.
• 대표적인 적대적 부분집합에 집중함으로써 일반화 능력을 향상시키고 표준 정확도를 높이되, 인증된 강건성은 손상시키지 않기 위해.
• 전체 영역 전파가 아닌 원칙적인 부분집합 선택 기반의 새로운 인증 훈련 패러다임을 수립하기 위해.

제안 방법

• 상자 근사법(구간 경계 전파)을 사용하여 입력 변형 영역의 작고 정교하게 선택된 부분집합(예: ℓ∞-구)만 네트워크를 통해 전파하기 위해.
• 상자 근사법을 사용하여 이러한 부분집합에 대한 도달 가능한 집합의 과대 근사치를 계산함으로써 계산 효율성과 확장성을 확보하기 위해.
• 최악의 손실 방향을 포착할 잠재력을 기반으로 부분집합을 선택하여 가장 강건한 적대적 방향을 식별할 가능성을 극대화하기 위해.
• 이러한 선택된 부분집합을 기반으로 최악의 손실 근사치를 최적화하여 전체 영역 상자 전파 대비 근사 오차를 줄이기 위해.
• 부분집합 기반 최악의 손실 근사치를 훈련 목표에 통합하여 표준 최적화와 함께 종단 간 백프로파게이션을 가능하게 하기 위해.
• 상자 근사법의 성장에 대한 이론적 통찰을 활용하여 부분집합 선택을 안내하고 결과 손실 근사치의 날카움을 보장하기 위해.

실험 결과

연구 질문

• RQ1 입력 변형 영역의 작고 대표적인 부분집합만 전파하는 것이 전체 영역 상자 전파보다 더 날카운 최악의 손실 근사치를 제공할 수 있는가?
• RQ2 최악의 손실 추정의 근사 오차를 줄이면 인증 훈련에서 과도한 정규화가 감소하고 표준 정확도가 향상되는가?
• RQ3 부분집합 기반 접근 방식이 계산의 취급 용이성을 유지하면서도 인증 정확도와 표준 정확도 양면에서 전체 영역 방법을 능가할 수 있는가?
• RQ4 네트워크 전파 동안 상자 근사법의 성장 방식이 대표적인 입력 부분집합 선택에 어떤 영향을 미치는가?
• RQ5 이 방법이 다양한 데이터셋과 변형 노름(예: ℓ∞)에 대해 일반화 가능할 수 있으며, 최고 수준의 성능 유지를 유지할 수 있는가?

주요 결과

• SABR는 여러 변형 크기에서 MNIST, CIFAR-10 및 TinyImageNet에서 기존 인증 훈련 방법을 능가하는 최고 수준의 인증 정확도를 달성한다.
• SABR는 기준 인증 훈련 방법 대비 표준 정확도를 최대 15% 향상시키며 동시에 인증 강건성은 유지하거나 향상시킨다.
• 최악의 손실 추정의 근사 오차를 최소화함으로써 과도한 정규화를 줄여 청소년 입력에 대한 일반화 능력을 향상시킨다.
• 실험 결과에 따르면 SABR의 부분집합 기반 접근 방식은 전체 영역 상자 전파보다 훨씬 날카운 최악의 손실 근사치를 제공한다.
• 이론적 분석은 선택적 부분집합 전파가 깊은 네트워크 추론 중 상자 근사 오차의 지수적 성장을 완화시킨다는 것을 확인한다.
• SABR는 데이터셋과 변형 노름에 걸쳐 일반화 가능하며, 아키텍처 수정이나 추가 하이퍼파rameter 없이도 일관된 성능 향상을 보인다.