[논문 리뷰] Robust Mixture-of-Expert Training for Convolutional Neural Networks

Yihua Zhang, Ruisi Cai외 7명|arXiv (Cornell University)|2023. 08. 19.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 Mixture-of-Experts 순환 신경망(MoE-CNNs)를 위한 새로운 적대적 훈련 프레임워크인 AdvMoE를 제안한다. 이는 라우터와 전문가를 번갈아가며 최적화하여 적대적 공격에 대한 강건성을 향상시킨다. 기존의 적대적 훈련 방식은 MoE-CNNs에서 실패하지만, AdvMoE는 희소 전문가 라우팅을 통해 추론 비용을 50% 이상 감소시키면서도 표준 밀집 CNNs보다 1%~4% 높은 강건성 정확도를 달성한다.

ABSTRACT

Sparsely-gated Mixture of Expert (MoE), an emerging deep model architecture, has demonstrated a great promise to enable high-accuracy and ultra-efficient model inference. Despite the growing popularity of MoE, little work investigated its potential to advance convolutional neural networks (CNNs), especially in the plane of adversarial robustness. Since the lack of robustness has become one of the main hurdles for CNNs, in this paper we ask: How to adversarially robustify a CNN-based MoE model? Can we robustly train it like an ordinary CNN model? Our pilot study shows that the conventional adversarial training (AT) mechanism (developed for vanilla CNNs) no longer remains effective to robustify an MoE-CNN. To better understand this phenomenon, we dissect the robustness of an MoE-CNN into two dimensions: Robustness of routers (i.e., gating functions to select data-specific experts) and robustness of experts (i.e., the router-guided pathways defined by the subnetworks of the backbone CNN). Our analyses show that routers and experts are hard to adapt to each other in the vanilla AT. Thus, we propose a new router-expert alternating Adversarial training framework for MoE, termed AdvMoE. The effectiveness of our proposal is justified across 4 commonly-used CNN model architectures over 4 benchmark datasets. We find that AdvMoE achieves 1% ~ 4% adversarial robustness improvement over the original dense CNN, and enjoys the efficiency merit of sparsity-gated MoE, leading to more than 50% inference cost reduction. Codes are available at https://github.com/OPTML-Group/Robust-MoE-CNN.

연구 동기 및 목표

• 효율적 추론을 위해 점점 더 널리 사용되고 있지만 적대적 공격에 취약한 Mixture-of-Experts 순환 신경망(MoE-CNNs)의 적대적 강건성 부족 문제를 해결하기 위해.
• 표준 CNNs에서는 성공한 바이어스 훈련이 MoE-CNNs에서는 실패하는 이유를 탐구하기 위해.
• 희소 전문가 라우팅의 효율성 이점을 포기하지 않으면서도 MoE-CNNs에서 효과적인 적대적 강건성을 달성할 수 있는 새로운 훈련 철학을 개발하기 위해.
• 라우터 강건성과 전문가 강건성으로 분해함으로써 MoE-CNNs의 강건성에 대한 새로운 이해를 수립하기 위해.

제안 방법

• 라우터와 전문가를 번갈아가며 최적화하는 이중 최적화 프레임워크인 AdvMoE를 제안하여 라우터와 전문가 경로의 강건성을 함께 향상시킨다.
• MoE의 강건성을 두 가지 별도의 차원으로 분해한다: 게이팅 함수(라우터)의 강건성과 전문가 하위망(경로)의 강건성으로, 타겟된 최적화를 가능하게 한다.
• 적대적 예제를 사용해 라우터를 업데이트하고, 각 전문가의 적대적 기울기를 사용해 전문가를 업데이트함으로써 상호 보완적인 학습을 보장한다.
• 입력당 소수의 전문가만 활성화되는 희소성 유도 라우팅 메커니즘을 활용하여 MoE 추론의 효율성을 유지한다.
• 강건성과 수렴성의 균형을 위해 단계 크기와 반복 횟수를 조정한 PGD 기반의 적대적 공격을 훈련 중에 사용한다.
• 각 훈련 스텝에서 라우터와 전문가 구성 요소를 모두 통과하는 이중 백워드 전파를 구현하여 기울기 흐름을 가능하게 한다.

Figure 1: (a) Model types (Dense, MoE-CNN, Sparse-CNN, and S(mall)-Dense) considered in this paper; see details in ‘Model setup’ of Sec. 3 . (b) Performance overview using the standard training and the robust training on model architectures in (a), where standard accuracy and robust accuracy are def

실험 결과

연구 질문

• RQ1 표준 적대적 훈련은 표준 CNNs에서는 효과가 있지만 MoE-CNNs에서는 왜 강건성을 향상시키지 못하는가?
• RQ2 MoE-CNNs에서 라우터와 전문가의 강건성은 어떻게 상호작용하며, 함께 최적화할 수 있는가?
• RQ3 추론 효율성을 훼손하지 않으면서도 MoE-CNNs에서 강건성을 효과적으로 향상시킬 수 있는 새로운 적대적 훈련 프레임워크를 설계할 수 있는가?
• RQ4 전문가 수와 모델 스케일링이 MoE-CNNs에서 적대적 훈련의 효과성에 미치는 영향은 무엇인가?

주요 결과

• 기존의 적대적 훈련(AT)은 MoE-CNNs에서 라우터와 전문가가 상호 간에 적응할 수 없기 때문에 강건성을 향상시키지 못한다.
• AdvMoE는 기존 AT로 훈련된 표준 밀집 CNNs보다 1%~4% 높은 강건성 정확도를 달성하여 더 뛰어난 강건성을 입증한다.
• 희소 전문가 라우팅을 활용함으로써 밀집 모델 대비 추론 비용을 50% 이상 감소시키면서도 높은 강건성을 유지한다.
• 이 방법은 CIFAR-10, CIFAR-100, SVHN, Tiny ImageNet를 포함한 네 가지 CNN 아키텍처와 네 가지 벤치마크 데이터셋에서 효과적이다.
• AdvMoE의 최적 설정은 전문가 수 2개와 모델 스케일 r=0.5를 사용하며, 강건성과 효율성의 균형을 이룬다.
• AdvMoE는 MoE-ViT 모델에서도 효과를 보이며, DeiT-Tiny 기반의 ImageNet에서 SOTA 기준보다 1% 이상 높은 강건성 정확도를 달성한다.

Figure 2: Performance of MoE-CNN and S-Dense robustly trained using ( AT ) on CIFAR-10 with ResNet-18 as the backbone.