[論文レビュー] HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

Jingang Qu, Thibault Faney+4 more|arXiv (Cornell University)|Nov 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

HMOEは、ドメインラベルを必要とせず、潜在ドメインを発見するハイパーネットベースのエキスパートの混合（MoE）を用いた、画期的なドメイン一般化手法を提案する。この手法は、スパースゲート付きエキスパートルーティングとドメイン内mixupを活用することで、解釈可能で頑健な一般化を実現し、複数のベンチマークで最先端の性能を達成しており、平均精度において既存手法を顕著に上回っている。

ABSTRACT

Due to domain shifts, machine learning systems typically struggle to generalize well to new domains that differ from those of training data, which is what domain generalization (DG) aims to address. Although a variety of DG methods have been proposed, most of them fall short in interpretability and require domain labels, which are not available in many real-world scenarios. This paper presents a novel DG method, called HMOE: Hypernetwork-based Mixture of Experts (MoE), which does not rely on domain labels and is more interpretable. MoE proves effective in identifying heterogeneous patterns in data. For the DG problem, heterogeneity arises exactly from domain shifts. HMOE employs hypernetworks taking vectors as input to generate the weights of experts, which promotes knowledge sharing among experts and enables the exploration of their similarities in a low-dimensional vector space. We benchmark HMOE against other DG methods under a fair evaluation framework -- DomainBed. Our extensive experiments show that HMOE can effectively separate mixed-domain data into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Using self-learned domain information, HMOE achieves state-of-the-art results on most datasets and significantly surpasses other DG methods in average accuracy across all datasets.

研究の動機と目的

• ドメインラベルが利用できない現実世界のシナリオにおけるドメイン一般化を解決し、従来の手法が明示的なドメインアノテーションに依存するという限界を克服すること。
• Mixture of Expertsフレームワークにおける教師なしルーティング機構を通じて、潜在ドメインの発見を可能にすることで、モデルの解釈性を向上させること。
• エキスパート間での知識共有を促進するとともに、エンドツーエンドで潜在ドメインを学習・利用する手法を開発し、一般化性能とエキスパート間の知識共有を向上させること。
• 多様なデータセットにわたる堅牢性を維持しながら、平均精度において既存のドメイン一般化手法を上回ること。
• エキスパートのパーティショニングを安定化させ、潜在ドメインの分離を向上させるために、微分可能で密度からスパarsityへのルーティング機構を導入すること。

提案手法

• HMOEは、学習可能な埋め込みベクトルを入力として受け取り、MoEエキスパートの重みを生成するハイパーネットを採用しており、低次元空間における知識共有と類似性の探求を可能にしている。
• ルーティング機構は、これらの埋め込みを用いてゲート値を計算し、モデルが入力空間を潜在ドメインに関連する部分空間に柔らかく分割できるようにしている。
• 新規の微分可能な密度からスパarsityへのTop-1ルーティングアルゴリズムが、ゲート値をワンホットに強制することで、ハードパーティショニングを実現し、潜在ドメイン発見の安定性を高めている。
• 本手法は、推定された潜在ドメイン内にmixupを適用するドメイン内mixup戦略を導入し、一般化性能の向上を図っている。
• 自己学習されたドメイン表現を用いてエンドツーエンドで訓練されており、真のドメインラベルの必要性が排除されている。
• フレームワークは、SOTAのDG手法との公平な比較を保証するため、DomainBedベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 エキスパートの混合フレームワークは、ドメインラベルに依存せずに、混合ドメインデータにおいて意味のある潜在ドメインを発見できるか？
• RQ2 ハイパーネットベースのエキスパート重み生成は、ドメイン一般化における知識共有とモデルの解釈性をどのように向上させるか？
• RQ3 ソフトルーティングと比較して、スパースゲートルーティングは、潜在ドメイン発見の安定性と品質をどの程度向上させるか？
• RQ4 ドメインラベルが存在しない状況下で、ドメイン内mixupは一般化性能を向上させるか？
• RQ5 HMOEは、多様なデータセットにおいて解釈可能性と頑健性を維持しながら、最先端の性能を達成できるか？

主な発見

• PACSデータセットにおいて、'ドメインラベルなし'設定下でHMOEは88.0の最先端の平均精度を達成し、RSC（87.0）やSelfReg（86.1）といった先行手法を顕著に上回っている。
• Office-Homeデータセットでは、HMOE-MUが72.5の平均精度を達成し、評価されたすべての手法の中で第1位となり、ドメインラベルを有するモデルですらこれを上回っている。
• TerraIncデータセットでは、HMOE-MUが52.8の平均精度を達成し、第2位のSagNet（50.7）を2.1ポイント上回り、第1位にランクインした。
• ドメインラベルを用いるHMOE-DLでさえも、強力な性能を発揮しており、ラベルが利用可能な状況下でも本手法の頑健性が裏付けられている。
• モデルは、混合ドメインデータを明確で人間が直感的に理解できるクラスタに効果的に分離しており、有効な潜在ドメイン発見が実証された。
• アブレーションスタディの結果、ハイパーネット、スパースルーティング、ドメイン内mixupの組み合わせが最適なパフォーマンスを発揮するために不可欠であることが確認された。