[논문 리뷰] BulletTrain: Accelerating Robust Neural Network Training via Boundary Example Mining

Weizhe Hua, Yichi Zhang외 3명|arXiv (Cornell University)|2021. 09. 29.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 6

한 줄 요약

BulletTrain는 마진 기반 중요도 스코어링을 사용하여 결정 경계에 가까운 경계 예제(가장 중요한 예제)를 동적으로 식별하고 계산 자원을 집중함으로써 강건한 신경망 학습을 가속화한다. CIFAR-10, CIFAR-10-C, CIFAR-100-C 벤치마크에서 TRADES, MART, AugMix에 대해 정확도를 저하시키지 않은 채 1.7×에서 2.2×의 속도 향상을 달성한다.

ABSTRACT

Neural network robustness has become a central topic in machine learning in recent years. Most training algorithms that improve the model's robustness to adversarial and common corruptions also introduce a large computational overhead, requiring as many as ten times the number of forward and backward passes in order to converge. To combat this inefficiency, we propose BulletTrain $-$ a boundary example mining technique to drastically reduce the computational cost of robust training. Our key observation is that only a small fraction of examples are beneficial for improving robustness. BulletTrain dynamically predicts these important examples and optimizes robust training algorithms to focus on the important examples. We apply our technique to several existing robust training algorithms and achieve a 2.1$ imes$ speed-up for TRADES and MART on CIFAR-10 and a 1.7$ imes$ speed-up for AugMix on CIFAR-10-C and CIFAR-100-C without any reduction in clean and robust accuracy.

연구 동기 및 목표

• 정규화된 손상 생성에 의해 학습 시간이 최대 10배까지 증가할 수 있는 강건한 신경망 학습의 높은 계산 비용을 해결한다.
• 기존의 강건한 학습 방법에서 모든 학습 예제에 대해 균일한 계산을 수행하는 비효율성을 해결한다.
• 결정 경계에 가까운 가장 정보가 많은 예제들(즉, 경계 예제)에게 더 많은 계산 자원을 할당하고 덜 관련성이 높은 예제들에 대해서는 줄이는 동적이고 적응적인 방법을 개발한다.
• 학습 시간을 크게 단축하면서도 모델의 강건성과 정상 정확도를 유지하거나 향상시킨다.
• 이론적 접근을 적응형으로 확장하여 적응형 및 일반적인 손상에 대한 강건성 설정 모두에 적용할 수 있도록 한다.

제안 방법

• 결정 경계에 가까운 경계 예제를 정의한다. 이는 현재의 결정 경계에 대해 작은 마진을 가지는 정상적인 샘플로, 손상 증강에서 가장 큰 이점을 얻을 가능성이 높다.
• 모델의 현재 로짓과 예측 신뢰도를 기반으로, 각 예제의 강건성 향상에 기여할 중요도를 예측하는 마진 기반 스코어 함수를 사용한다.
• 소형 배치당 상위-$N_R$개의 중요도가 높은 예제들만에 대해 손상 생성을 위한 계산 자원을 동적으로 할당한다.
• 선택된 예제 비율을 제어하기 위해 임계값 $\gamma$를 도입하여 속도와 강건성 사이의 트레이드오���을 가능하게 한다.
• 데이터 샘플링 및 손실 계산 파이프라인을 수정하여, TRADES, MART, AugMix와 같은 기존의 강건한 학습 프레임워크에 이 방법을 통합한다.
• 모든 예제들에 대해 완전한 순방향 및 역방향 전파를 유지하지만, 예측된 중요도에 따라 비경계 예제들의 손상 생성 단계 수를 줄인다.

실험 결과

연구 질문

• RQ1 소수의 경계 예제들에 계산 자원을 집중하는 것이 모델의 강건성에 영향을 주지 않고 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 마진 기반 중요도에 기반한 경계 예제의 동적 선택이 균일하거나 히وري스틱 샘플링과 비교할 때 속도-정확도 트레이드오프에서 어떻게 성능을 내는가?
• RQ3 경계 예제 탐색이 적응형 및 일반적인 손상에 대한 강건성 목표 모두에서 강건한 학습을 얼마나 빠르게 가속화할 수 있는가?
• RQ4 마진 임계값 $\gamma$와 선택된 예제 수 $N_R$와 같은 다양한 초모수에 대해 이 방법의 성능 안정성은 어느 정도인가?
• RQ5 이론적으로 최첨단 강건한 학습 알고리즘에 아키텍처 변경 없이 일반화 가능한가?

주요 결과

• CIFAR-10에서 BulletTrain는 TRADES와 MART 학습에 대해 정확도 손실 없이 2.2×의 속도 향상을 달성한다.
• CIFAR-10-C와 CIFAR-100-C에서 BulletTrain는 AugMix 학습에 대해 1.7×의 속도 향상을 제공하며, 정상 정확도와 강건 정확도를 유지한다.
• 마진 임계값 $\gamma$의 다양한 값에 대해 성능이 안정적이며, $\gamma \in [0.65, 0.9]$ 범위에서 강건 정확도가 일관되게 유지된다.
• $N_R$의 변화에 대해 정상 정확도가 강인하며, 이론적 성능과 유사한 벽시간 성능을 기록한 FAST보다 더 높은 속도 향상을 달성한다.
• 이론적 속도 향상과 GPU에서의 실제 벽시간 속도 향상 간의 일치도가 높아 실용적 효율성이 뛰어나다.
• 이전의 중요도 샘플링 방법과 달리, BulletTrain는 동적 선택을 위해 최신 모델 스코어를 사용하여 오래된 손실 추정치를 피하고 선택 정확도를 향상시킨다.