[論文レビュー] Sparse Mixture-of-Experts are Domain Generalizable Learners

Bo Li, Yifei Shen+6 more|arXiv (Cornell University)|Jun 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、スパースなエキスパート特化を通じて不変の視覚的相関に一致させることでドメイン一般化を向上させる、ビジョントランスフォーマーに基づくアーキテクチャであるGeneralizable Mixture-of-Experts (GMoE)を提案する。GMoEはERMで訓練された場合、SOTAドメイン一般化手法を上回り、DomainBedベンチマークでも最先端の性能を達成しており、分布シフトに対するロバスト性の観点から、バックボーンアーキテクチャ設計が重要な未開拓分野であることが示された。

ABSTRACT

Human visual perception can easily generalize to out-of-distributed visual data, which is far beyond the capability of modern machine learning models. Domain generalization (DG) aims to close this gap, with existing DG methods mainly focusing on the loss function design. In this paper, we propose to explore an orthogonal direction, i.e., the design of the backbone architecture. It is motivated by an empirical finding that transformer-based models trained with empirical risk minimization (ERM) outperform CNN-based models employing state-of-the-art (SOTA) DG algorithms on multiple DG datasets. We develop a formal framework to characterize a network's robustness to distribution shifts by studying its architecture's alignment with the correlations in the dataset. This analysis guides us to propose a novel DG model built upon vision transformers, namely Generalizable Mixture-of-Experts (GMoE). Extensive experiments on DomainBed demonstrate that GMoE trained with ERM outperforms SOTA DG baselines by a large margin. Moreover, GMoE is complementary to existing DG methods and its performance is substantially improved when trained with DG algorithms.

研究の動機と目的

• バックボーンアーキテクチャのドメイン一般化における役割を調査し、損失関数設計に注目が集まりがちな現状に挑戦すること。
• アルゴリズム的アライメント理論を用いて、ネットワークアーキテクチャのアライメントと分布シフトに対するロバスト性の関係を形式化すること。
• 視覚的属性に特化するエキスパートを備えた、新たなアーキテクチャ—Generalizable Mixture-of-Experts (GMoE)—を考案すること。
• 異なるデータ分布間で共有される視覚的属性に着目した一貫したエキスパート選択を示すことにより、GMoEがドメインをまたいで一般化できることを検証すること。
• GMoEが既存のDG手法と相補的であることを示し、それらと組み合わせることで性能がさらに向上することを示すこと。

提案手法

• 著者らは、アルゴリズム的アライメント理論を用いて分布シフトに対するロバスト性を形式化し、不変相関にアライメントするアーキテクチャがよりロバストであることを証明した。
• 実世界のデータセットにおいて、畳み込みモジュールとアテンションベースのモジュールの、不変相関と誤った相関へのアライメントを分析し、ERM下でなぜビジョントランスフォーマーがCNNを上回るのかを解明した。
• 各エキスパートが特定の視覚的属性（例：鳥のくちばし、脚、背景）を処理することに特化するように、ビジョントランスフォーマーに組み込むスパースなMixture-of-ExpertsレイヤーとしてGMoEを設計した。
• ルーター機構により、入力の内容に応じてトークンがエキスパートに動的にルーティングされ、スパースかつ適応的な計算が可能になり、視覚的要因の分離が向上した。
• ドメイン間でのエキスパート選択を可視化し、同じ属性（例：くちばし、尾）が、スタイライズの違いに関わらず一貫して同じエキスパートによって処理されることを示した。
• ViTとGMoEにおけるマルチヘッドアテンションのパターンを比較し、MoEレイヤーがアテンションの冗長性を低減し、特徴の分離性を向上させることを示した。

実験結果

リサーチクエスチョン

• RQ1 損失関数設計とは独立して、バックボーンアーキテクチャ設計そのものがドメイン一般化を向上させ得るか？
• RQ2 不変相関と誤った相関へのアーキテクチャのアライメントが、分布シフトに対するモデルのロバスト性に与える影響は何か？
• RQ3 視覚的属性に特化するようにMixture-of-Expertsを設計でき、ドメインシフトに一般化できるか？
• RQ4 標準的なERMで訓練した場合、GMoEは追加のDG損失部品なしにSOTAドメイン一般化手法を上回るか？
• RQ5 GMoEは既存のDGアルゴリズムと相補的であり、それらと組み合わせることで性能がさらに向上するか？

主な発見

• パrameter数がほぼ同等の状態で、ERMで訓練したヴァニラビジョントランスフォーマー（ViT-S/16）は、OfficeHome、DomainNet、VLCSデータセットにおいて、SOTA DGアルゴリズムを搭載したResNet-50を上回った。
• 理論的分析により、不変相関にアライメントするアーキテクチャを持つモデルは分布シフトに対してよりロバストである一方、誤った相関にアライメントするモデルはそれより脆弱であることが確認された。
• GMoEはERM訓練下でDomainBedベンチマークで最先端の性能を達成し、SOTA DGベースラインを大きく上回った。
• GMoEにおけるエキスパート選択はドメイン間で一貫している：同じ視覚的属性（例：くちばし、尾）が、ドメイン固有のスタイライズに関係なく、同じエキスパートによって処理された。
• 可視化により、標準的なマルチヘッドアテンションに比べ、GMoEがアテンションの冗長性を低減しており、エキスパートが明確に異なる視覚的特徴に特化していることが示された。
• 既存のDGアルゴリズムと組み合わせた場合、GMoEはさらに性能を向上させ、現在の手法と相補的であることが示された。