[論文レビュー] Robust Mixture-of-Expert Training for Convolutional Neural Networks

Yihua Zhang, Ruisi Cai+7 more|arXiv (Cornell University)|Aug 19, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、Mixture-of-Experts畳み込みニューラルネットワーク（MoE-CNN）のための、敵対的ロバストネスを向上させる新しい敵対的訓練フレームワークであるAdvMoEを提案する。AdvMoEは、ルーターとエキスパートを交互に最適化することで、敵対的ロバストネスを向上させる。標準の敵対的訓練ではMoE-CNNで失敗するが、AdvMoEはスパースなエキスパートルーティングにより推論コストを50%以上削減しながら、標準の密度型CNNよりも1%〜4%高いロバスト精度を達成する。

ABSTRACT

Sparsely-gated Mixture of Expert (MoE), an emerging deep model architecture, has demonstrated a great promise to enable high-accuracy and ultra-efficient model inference. Despite the growing popularity of MoE, little work investigated its potential to advance convolutional neural networks (CNNs), especially in the plane of adversarial robustness. Since the lack of robustness has become one of the main hurdles for CNNs, in this paper we ask: How to adversarially robustify a CNN-based MoE model? Can we robustly train it like an ordinary CNN model? Our pilot study shows that the conventional adversarial training (AT) mechanism (developed for vanilla CNNs) no longer remains effective to robustify an MoE-CNN. To better understand this phenomenon, we dissect the robustness of an MoE-CNN into two dimensions: Robustness of routers (i.e., gating functions to select data-specific experts) and robustness of experts (i.e., the router-guided pathways defined by the subnetworks of the backbone CNN). Our analyses show that routers and experts are hard to adapt to each other in the vanilla AT. Thus, we propose a new router-expert alternating Adversarial training framework for MoE, termed AdvMoE. The effectiveness of our proposal is justified across 4 commonly-used CNN model architectures over 4 benchmark datasets. We find that AdvMoE achieves 1% ~ 4% adversarial robustness improvement over the original dense CNN, and enjoys the efficiency merit of sparsity-gated MoE, leading to more than 50% inference cost reduction. Codes are available at https://github.com/OPTML-Group/Robust-MoE-CNN.

研究の動機と目的

• 効率的な推論に用いられる傾向にあるが、敵対的攻撃に対して脆弱であるMixture-of-Experts畳み込みニューラルネットワーク（MoE-CNN）における敵対的ロバストネスの欠如に対処すること。
• 標準のCNNでは成功しているにもかかわらず、MoE-CNNでは失敗する従来の敵対的訓練（AT）の原因を調査すること。
• スパースなエキスパートルーティングの効率的利点を損なわずに、MoE-CNNにおける効果的な敵対的ロバストネスを実現する新しい訓練パラダイムを開発すること。
• ルーターのロバストネスとエキスパートのロバストネスに分解することで、MoE-CNNにおけるロバストネスの新たな理解を確立すること。

提案手法

• ルーターとエキスパートを交互に最適化する敵対的訓練フレームワーク（AdvMoE）を提案し、二段階最適化を用いてルーターとエキスパートパスウェイの両方のロバストネスを同時に向上させる。
• MoEのロバストネスを2つの明確な次元に分解する：ゲーティング関数（ルーター）のロバストネスとエキスパートサブネットワーク（パスウェイ）のロバストネス。これにより、ターゲット最適化が可能になる。
• 敵対的例を用いてルーターを更新し、それぞれのエキスパートをその敵対的勾配を用いて更新するという交互のプロセスを実施し、学習の整合性を保つ。
• 入力ごとに少数のエキスパートしかアクティブにしないスパarsity誘導型ルーティング機構を採用し、MoE推論の効率性を維持する。
• 収束性とロバストネスのバランスをとるために、ステップサイズと反復回数を調整したPGDベースの敵対的攻撃を訓練中に使用する。
• 各訓練ステップで二重のバックプロパゲーションを実施し、交互最適化中にルーターおよびエキスパートコンポONENTの両方の勾配伝搬を可能にする。

Figure 1: (a) Model types (Dense, MoE-CNN, Sparse-CNN, and S(mall)-Dense) considered in this paper; see details in ‘Model setup’ of Sec. 3 . (b) Performance overview using the standard training and the robust training on model architectures in (a), where standard accuracy and robust accuracy are def

実験結果

リサーチクエスチョン

• RQ1 なぜ標準の敵対的訓練は、標準のCNNでは有効であるにもかかわらず、MoE-CNNではロバストネスを向上させないのか？
• RQ2 MoE-CNNにおけるルーターとエキスパートのロバストネスはどのように相互作用するのか？また、両者を共同で最適化することでより良い防御が可能になるか？
• RQ3 推論効率を損なわずに、MoE-CNNにおけるロバストネスを効果的に向上させる新しい敵対的訓練フレームワークを設計できるか？
• RQ4 エキスパート数とモデルスケーリングの影響は、MoE-CNNにおける敵対的訓練の有効性にどのような影響を与えるか？

主な発見

• 従来の敵対的訓練（AT）では、MoE-CNNにおいてルーターとエキスパートが標準AT下で互いに適応できず、ロバストネス向上が達成できない。
• AdvMoEは、従来のATで訓練された標準の密度型CNNと比較して、1%〜4%高いロバスト精度を達成しており、優れたロバストネスを示している。
• AdvMoEはスパースなエキスパートルーティングを活用することで、密度型モデルと比較して推論コストを50%以上削減しながらも、高いロバストネスを維持している。
• 本手法は4つのCNNアーキテクチャと4つのベンチマークデータセット（CIFAR-10、CIFAR-100、SVHN、Tiny ImageNet）にわたり有効である。
• AdvMoEの最適な設定は2エキスパートとモデルスケールr=0.5であり、ロバストネスと効率性のバランスを最良にしている。
• AdvMoEはMoE-ViTモデルに対しても有効であり、DeiT-Tinyを用いたImageNet上でのSOTAベースラインと比較して1%以上の高いロバスト精度を達成している。

Figure 2: Performance of MoE-CNN and S-Dense robustly trained using ( AT ) on CIFAR-10 with ResNet-18 as the backbone.