[논문 리뷰] Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference

Ting-Kuei Hu, Tianlong Chen외 2명|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 35

한 줄 요약

다중 출구 조기 분기 출력을 갖춘 강건 다이나믹 추론 네트워크(RDI-Nets)를 제안하여 입력마다 적응적으로 경로를 라우팅하고, 상당한 추론 절감을 달성하며 정확도와 강건성을 향상시킨다.

ABSTRACT

Deep networks were recently suggested to face the odds between accuracy (on clean natural images) and robustness (on adversarially perturbed images) (Tsipras et al., 2019). Such a dilemma is shown to be rooted in the inherently higher sample complexity (Schmidt et al., 2018) and/or model capacity (Nakkiran, 2019), for learning a high-accuracy and robust classifier. In view of that, give a classification task, growing the model capacity appears to help draw a win-win between accuracy and robustness, yet at the expense of model size and latency, therefore posing challenges for resource-constrained applications. Is it possible to co-design model accuracy, robustness and efficiency to achieve their triple wins? This paper studies multi-exit networks associated with input-adaptive efficient inference, showing their strong promise in achieving a "sweet point" in cooptimizing model accuracy, robustness and efficiency. Our proposed solution, dubbed Robust Dynamic Inference Networks (RDI-Nets), allows for each input (either clean or adversarial) to adaptively choose one of the multiple output layers (early branches or the final one) to output its prediction. That multi-loss adaptivity adds new variations and flexibility to adversarial attacks and defenses, on which we present a systematical investigation. We show experimentally that by equipping existing backbones with such robust adaptive inference, the resulting RDI-Nets can achieve better accuracy and robustness, yet with over 30% computational savings, compared to the defended original models.

연구 동기 및 목표

• 깊은 네트워크에서 높은 정확도, 적대적 공격에 대한 강건성, 그리고 계산 효율성의 삼중 과제를 동기 부여한다.
• 다중 출구 네트워크를 통한 입력 적응형 다이나믹 추론을 도입하여 조기 종료를 가능하게 하고 계산을 절감한다.
• 다중 출력 아키텍처에 대한 공격과 방어를 체계적으로 연구하여 보안 함의를 이해한다.
• RDI-Nets가 벤치마크 백본에서 정확도, 강건성 및 효율성의 동시 이득을 보여준다.

제안 방법

• 임의의 백본(예: ResNet, MobileNet)을 K개의 측면 출구 가지가 중첩된 방식으로 가중치를 공유하도록 보강한다.
• 충분히 낮은 소프트맥스 엔트로피를 가진 최조 출구에서 계산을 종료하기 위해 임계값 t_k를 활용한 신뢰도 기반 조기 종료 전략을 사용한다.
• 모든 출구의 손실을 가중치 w_i로 합친 다중 출구 학습 목표 L_RDI를 정의하고, 순정 샘플과 적대적 예제를 모두 포함한다.
• 다중 출력 네트워크에서 세 가지 공격 유형을 공식화하고 평가한다: 각 분기별 단일 출력 공격, 모든 분기에 걸친 평균 공격, 그리고 단일 분기 공격을 결합한 최대-평균 공격.
• 세 공격 형태에서 생성된 적대적 예제로 학습을 확장하는 적대적 학습으로 방어하고, 출구 간 공유 매개변수를 업데이트한다.
• 방어된 기준선과 방어된 희소/압축 모델과의 실증적 비교를 통해 TA, ATA, MFlops를 평가한다.

실험 결과

연구 질문

• RQ1 입력 적응형 다중 출구 네트워크가 정확도, 강건성 및 효율성의 삼중 이점을 제공할 수 있는가?
• RQ2 다양한 적대적 공격 형식이 다중 출력 아키텍처와 어떻게 상호 작용하며 이러한 형태에서 방어는 얼마나 효과적인가?
• RQ3 정적 강건 모델과 비교했을 때 RDI-Nets가 성능을 저하시키지 않으면서 실용적인 계산 절감을 제공하는가?
• RQ4 표준 벤치마크에서 방어된 희소/압축 기준선과 비교한 RDI-Nets의 성능은 어떤가?
• RQ5 RDI-Nets에서 깨끗한 입력과 적대적 입력하의 출구 패턴 동작은 어떠한가?

주요 결과

• RDI-Nets는 벤치마크 백본에서 추론 계산을 약 30% 절감하면서 더 높은 정확도와 강건성을 달성한다.
• MNIST의 SmallCNN에서 Max-Average 방어를 가진 방어된 RDI-Nets가 TA와 ATA에서 기준선을 능가하면서 계산량을 약 34% 감소시킨다.
• CIFAR-10의 ResNet-38 및 MobileNet-V2에서 Max-Average 방어는 최악의 공격하에서 더 큰 ATA 이득을 제공하고 baselines보다 높은 TA를 유지하며 상당한 MFLOP 절감을 달성한다.
• 방어된 희소 가지치기 기준선과 비교할 때 RDI-Nets는 유사하거나 더 나은 TA에서 더 높거나 유사한 ATA를 제공하고 PFLOP 대비 경쟁력 있는 MFlops를 보인다.
• 무작위 및 일반적인 공격(FGSM, WRM) 전반에 걸쳐 RDI-Nets는 일반화된 강건성 향상을 보여주며 효율성 이점을 유지한다.
• 시각화는 Average/Max-Average 방어 하에서 다중 출구의 더 균형 잡힌 활용을 시사하며 적대적 경로 설정에 대한 회복력을 높인다.