[논문 리뷰] Sparse Mixture-of-Experts are Domain Generalizable Learners

Bo Li, Yifei Shen외 6명|arXiv (Cornell University)|2022. 06. 08.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 일반화 가능한 전문가 혼합(GMoE)을 제안하며, 희소 전문가 전문화를 통해 정 invariant 시각적 상관관계와 일치시킴으로써 도메인 일반화를 향상시키는 비전 트랜스포머 기반 아키텍처이다. ERM로 훈련할 때도 기존 SOTA 도메인 일반화 방법을 능가하며, DomainBed 벤치마크에서 최고 성능을 기록하여, 백본 아키텍처 설계가 분포 이탈에 대한 강건성에 있어 중요한, 아직 탐색되지 않은 방향임을 입증한다.

ABSTRACT

Human visual perception can easily generalize to out-of-distributed visual data, which is far beyond the capability of modern machine learning models. Domain generalization (DG) aims to close this gap, with existing DG methods mainly focusing on the loss function design. In this paper, we propose to explore an orthogonal direction, i.e., the design of the backbone architecture. It is motivated by an empirical finding that transformer-based models trained with empirical risk minimization (ERM) outperform CNN-based models employing state-of-the-art (SOTA) DG algorithms on multiple DG datasets. We develop a formal framework to characterize a network's robustness to distribution shifts by studying its architecture's alignment with the correlations in the dataset. This analysis guides us to propose a novel DG model built upon vision transformers, namely Generalizable Mixture-of-Experts (GMoE). Extensive experiments on DomainBed demonstrate that GMoE trained with ERM outperforms SOTA DG baselines by a large margin. Moreover, GMoE is complementary to existing DG methods and its performance is substantially improved when trained with DG algorithms.

연구 동기 및 목표

• 백본 아키텍처의 도메인 일반화에서의 역할을 조사하여, 손실 함수 설계에 대한 지배적인 초점을 도전한다.
• 알고리즘 일치 이론을 사용하여 네트워크 아키텍처 일치와 분포 이탈에 대한 강건성 간의 관계를 체계화한다.
• 특정 시각적 특성(예: 새 부리, 다리, 배경)에 전문가가 특화되는 방식으로 설계된 새로운 아키텍처인 일반화 가능한 전문가 혼합(GMoE)을 개발한다.
• 다양한 데이터 분포에서 공통적인 시각적 특성에 대해 일관된 전문가 선택이 이루어지는 것을 통해 GMoE가 도메인 간 일반화됨을 검증한다.
• GMoE가 기존 DG 방법과 상호보완적이며, 그것들과 조합될 경우 성능 향상이 이루어짐을 보여준다.

제안 방법

• 저자는 알고리즘 일치 이론을 사용하여 분포 이탈에 대한 강건성을 체계화하고, 정 invariant 상관관계와 일치하는 아키텍처가 더 강건함을 증명한다.
• 실제 세계 데이터셋에서 합성곱 모듈과 주의 기반 모듈이 정 invariant 상관관계와 허위 상관관계 중 어느 것과 더 잘 일치하는지 분석하여, ERM 하에서 비전 트랜스포머가 CNN보다 우수한 이유를 규명한다.
• GMoE를 비전 트랜스포머에 삽입하는 희소 전문가 혼합 레이어로 설계하며, 각 전문가는 특정 시각적 특성(예: 새 부리, 다리, 배경)을 처리하도록 전문화된다.
• 라우터 메커니즘은 입력 콘텐츠에 따라 토큰을 전문가에게 동적으로 라우팅함으로써 희소적이고 적응형 계산을 가능하게 하며, 시각적 요소의 분리도 향상시킨다.
• 다양한 도메인 간 전문가 선택을 시각화하여, 동일한 전문가가 동일한 특성(예: 부리, 꼬리)을 일관되게 처리함을 보여준다. 이는 도메인 특화된 스타일링에도 불구하고 성립한다.
• ViT와 GMoE의 다중헤드 어텐션 패tern을 비교하여, MoE 레이어가 어텐션의 중복을 줄이고 특징의 분리도 향상시킴을 입증한다.

실험 결과

연구 질문

• RQ1 손실 함수 설계와 무관하게, 백본 아키텍처 설계만으로도 도메인 일반화를 향상시킬 수 있는가?
• RQ2 정 invariant 상관관계와 허위 상관관계 중 어느 것과 아키텍처가 일치하는지에 따라 모델의 분포 이탈에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 전문가 혼합 아키텍처를 설계하여 특정 시각적 특성에 전문화하고 도메인 이탈에 일반화할 수 있는가?
• RQ4 표준 ERM로 훈련했을 때, GMoE가 추가적인 DG 손실 구성 요소 없이도 SOTA 도메인 일반화 방법을 능가하는가?
• RQ5 GMoE는 기존 DG 알고리즘과 상호보완적인가? 그리고 그것들과 조합되었을 때 성능 향상이 이루어지는가?

주요 결과

• 비틀린 비전 트랜스포머(ViT-S/16)가 ERM로 훈련되었을 때, 유사한 파라미터 수를 가진 ResNet-50에 비해 OfficeHome, DomainNet, VLCS 데이터셋에서 SOTA DG 알고리즘을 능가한다.
• 이론적 분석을 통해 정 invariant 상관관계와 일치하는 아키텍처를 가진 모델은 분포 이탈에 더 강건하며, 반대로 허위 상관관계와 일치하는 아키텍처는 덜 강건함을 확인했다.
• GMoE는 ERM 훈련 하에서 DomainBed 벤치마크에서 SOTA 성능을 기록하며, SOTA DG 기반 모델을 크게 앞서 간다.
• GMoE의 전문가 선택은 도메인 간 일관성 있다: 동일한 시각적 특성(예: 부리, 꼬리)은 도메인 특화된 스타일링에 관계없이 동일한 전문가에 의해 처리된다.
• 시각화 결과, 표준 다중헤드 어텐션 대비 GMoE가 어텐션 중복을 줄이며, 전문가가 서로 다른 시각적 특징에 전문화됨을 확인했다.
• 기존 DG 알고리즘과 조합했을 때 GMoE는 성능을 추가로 향상시키며, 기존 방법과의 상호보완성을 입증했다.