[論文レビュー] Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient for Convolutional Neural Networks

Mohammed Nowaz Rabbani Chowdhury, Shuai Zhang+3 more|arXiv (Cornell University)|Jun 7, 2023

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文は、Mixture-of-ExpertsのパッチレベルのルーティングがCNNのサンプル複雑度とモデルサイズを低減しつつ、 MNIST・CIFAR-10・CelebAでの一般化を維持または向上させることを理論と実験で示している。

ABSTRACT

In deep learning, mixture-of-experts (MoE) activates one or few experts (sub-networks) on a per-sample or per-token basis, resulting in significant computation reduction. The recently proposed \underline{p}atch-level routing in \underline{MoE} (pMoE) divides each input into $n$ patches (or tokens) and sends $l$ patches ($l\ll n$) to each expert through prioritized routing. pMoE has demonstrated great empirical success in reducing training and inference costs while maintaining test accuracy. However, the theoretical explanation of pMoE and the general MoE remains elusive. Focusing on a supervised classification task using a mixture of two-layer convolutional neural networks (CNNs), we show for the first time that pMoE provably reduces the required number of training samples to achieve desirable generalization (referred to as the sample complexity) by a factor in the polynomial order of $n/l$, and outperforms its single-expert counterpart of the same or even larger capacity. The advantage results from the discriminative routing property, which is justified in both theory and practice that pMoE routers can filter label-irrelevant patches and route similar class-discriminative patches to the same expert. Our experimental results on MNIST, CIFAR-10, and CelebA support our theoretical findings on pMoE's generalization and show that pMoE can avoid learning spurious correlations.

研究の動機と目的

• MoEおよびpMoEが計算量を削減しても精度を維持できる理由を理解する必要性を動機づける。
• 2層CNNエキスパートに対するpMoEの理論的一般化解析を提供する。
• 識別的なパッチを同じエキスパートへ前方伝播させるルータの識別的ルーティング特性を特徴づける。
• pMoEが視覚タスクでサンプル複雑度を低減し、偽の相関の学習を回避できることを経験的に示す。

提案手法

• 入力パッチとクラス識別的パターン vs. クラス非識別パターンを用いた監視付き二値分類設定を検討する。
• kエキスパートとルータを持つpMoEアーキテクチャをモデル化し、各ルータが各エキスパートにつきlパッチを選択する。
• 別個訓練フェーズ（ルータを先に訓練）と結合訓練フェーズ（ルータとエキスパートを同時訓練）という2つの訓練 regimeを分析する。
• CNNベースラインと比較してn/lに対して多項式にスケールするサンプル複雑度とニューロン数の削減を示す理論結果を導出する。
• 識別的パターンがラベルを決定し、非関連パターンがδ_dとδ_rで制御された分離を持つパターン集合として整理されるデータモデルを導入する。

実験結果

リサーチクエスチョン

• RQ1 pMoEは単一のCNNと比較して、一般化を維持しつつ訓練サンプル要件とモデルサイズをどれだけ減らせるか。
• RQ2 どのデータの分離度とルーティング構成において、pMoEは識別的パッチを同じエキスパートへルーティングし、無関係パッチを破棄することを理論的に保証できるか。
• RQ3 別個訓練と結合訓練のpMoE設定は、標準的な視覚データセット全体で理論的・経験的な一般化利得を提供するか。

主な発見

• 適切に訓練されたルータを持つpMoEは、各クラスの識別的パッチを対応エキスパートへルーティングし、遠位のパッチを排除して学習中の干渉を低減する。
• サンプル複雑度と必要隠れニューロン数は、(n/l)に対して多項式にスケールし、特定の条件下でCNNと比較してサンプルでΩ(l^8)の削減、ニューロン数でΩ(l^10)の削減を達成する。
• クラス識別的パターンとクラス非識別パターンの分離が大きい（δが小さい）ほど、pMoEのサンプルとモデルの複雑さがさらに低減する。
• Assumption 4.4の下で、結合訓練のpMoEも一般化を改善でき、CNNと比較して複雑さの削減を達成する。
• MNIST由来の合成データ、CIFAR-10、およびCelebAでの実験は、サンプル要件の低減と偽の相関に対する頑健性を裏付ける。
• WRN-pMoE実験は、訓練データの大幅な効率化と偽の相関下でも性能を維持することを示す。