[논문 리뷰] HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

Jingang Qu, Thibault Faney외 4명|arXiv (Cornell University)|2022. 11. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

HMOE는 도메인 레이블이 필요 없이 잠재 도메인을 탐지하는 하이퍼넷워크 기반의 전문가 혼합(MoE)을 사용하는 도메인 일반화의 새로운 방법을 제안한다. 이는 해석 가능하고 강건한 일반화를 가능하게 하며, 희소 게이팅 전문가 라우팅과 도메인 내 믹스업을 통해 여러 벤치마크에서 최신 기술을 초월하는 평균 정확도를 달성한다.

ABSTRACT

Due to domain shifts, machine learning systems typically struggle to generalize well to new domains that differ from those of training data, which is what domain generalization (DG) aims to address. Although a variety of DG methods have been proposed, most of them fall short in interpretability and require domain labels, which are not available in many real-world scenarios. This paper presents a novel DG method, called HMOE: Hypernetwork-based Mixture of Experts (MoE), which does not rely on domain labels and is more interpretable. MoE proves effective in identifying heterogeneous patterns in data. For the DG problem, heterogeneity arises exactly from domain shifts. HMOE employs hypernetworks taking vectors as input to generate the weights of experts, which promotes knowledge sharing among experts and enables the exploration of their similarities in a low-dimensional vector space. We benchmark HMOE against other DG methods under a fair evaluation framework -- DomainBed. Our extensive experiments show that HMOE can effectively separate mixed-domain data into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Using self-learned domain information, HMOE achieves state-of-the-art results on most datasets and significantly surpasses other DG methods in average accuracy across all datasets.

연구 동기 및 목표

• 도메인 레이블이 제공되지 않는 실세계 시나리오에서 도메인 일반화 문제를 해결하여 기존 방법이 명시적 도메인 레이블에 의존하는 한계를 극복한다.
• 전문가 혼합 프레임워크 내에서 비지도 라우팅 메커니즘을 통해 잠재 도메인 탐지를 가능하게 하여 모델의 해석 가능성을 향상시킨다.
• 잠재 도메인을 종합적으로 끝에서 끝까지 학습하고 활용하는 방법을 개발하여 전문가 간의 일반화 및 지식 공유를 향상시킨다.
• 다양한 데이터셋에서의 강건성 유지와 함께 평균 정확도에서 기존 도메인 일반화 방법을 뛰어넘는다.
• 전문가 분할의 안정성과 잠재 도메인 분리 품질 향상을 위해 기울기 가능 밀도-희소 라우팅 메커니즘을 도입한다.

제안 방법

• HMOE는 학습 가능한 임bedding 벡터를 입력으로 받아 전문가의 가중치를 생성하는 하이퍼넷워크를 사용하여, 저차원 공간에서 지식 공유와 유사도 탐색을 가능하게 한다.
• 라우팅 메커니즘은 이러한 임베딩을 사용해 게이트 값 계산을 수행하여 입력 공간을 잠재 도메인과 관련된 부분공간으로 부드럽게 분할한다.
• 새로운 기울기 가능 밀도-희소 Top-1 라우팅 알고리즘은 게이트 값을 일항으로 강제로 만들며, 딱딱한 분할을 달성하고 잠재 도메인 탐지의 안정성을 높인다.
• 이 방법은 각 추론된 잠재 도메인 내에서 믹스업을 적용하는 도메인 내 믹스업 전략을 도입하여 일반화 성능을 향상시킨다.
• 모델는 지도 학습이 아닌 자기 학습된 도메인 표현을 사용해 종단 간(end-to-end)으로 훈련되며, 진정한 도메인 레이블이 필요 없게 된다.
• 프레임워크는 도메인 베드 벤치마크에서 평가되어 최신 기술 DG 방법과의 공정한 비교가 보장된다.

실험 결과

연구 질문

• RQ1 전문가 혼합 프레임워크는 도메인 레이블이 없는 혼합 도메인 데이터에서 의미 있는 잠재 도메인을 탐지할 수 있는가?
• RQ2 하이퍼넷워크 기반의 전문가 가중치 생성은 도메인 일반화에서 지식 공유와 모델의 해석 가능성에 어떻게 기여하는가?
• RQ3 희소 게이팅 라우팅은 부드러운 라우팅에 비해 잠재 도메인 탐지의 안정성과 품질을 얼마나 향상시키는가?
• RQ4 도메인 레이블이 없는 상황에서 도메인 내 믹스업 전략은 일반화 성능 향상에 기여하는가?
• RQ5 HMOE는 다양한 데이터셋에서 해석 가능성과 강건성을 유지하면서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• PACS 데이터셋에서 '도메인 레이블 없음' 설정 하에 HMOE는 최신 기술 평균 정확도 88.0을 달성하여 기존 방법들인 RSC(87.0)와 SelfReg(86.1)를 크게 앞서며 뛰어난 성능을 보였다.
• Office-Home 데이터셋에서 HMOE-MU는 평균 정확도 72.5를 기록하여 평가된 모든 방법 중 1위를 차지했으며, 도메인 레이블이 있는 모델조차도 뛰어넘었다.
• TerraInc 데이터셋에서 HMOE-MU는 평균 정확도 52.8을 기록하여 1위를 차지했으며, 이는 다음으로 우수한 성능을 낸 모델(SagNet, 50.7)보다 2.1점 높은 성능이었다.
• HMOE-DL은 도메인 레이블을 사용하지만 여전히 뛰어난 성능을 보여, 레이블이 존재하는 경우에도 메서드의 강건성을 입증했다.
• 모델는 혼합 도메인 데이터를 인간이 직관적으로 이해할 수 있는 분리된 클러스터로 성공적으로 분류하여 효과적인 잠재 도메인 탐지 능력을 입증했다.
• 제거 실험 결과는 하이퍼넷워크, 희소 라우팅, 도메인 내 믹스업의 조합이 최적 성능을 내기 위해 필수적임을 확인했다.