[논문 리뷰] Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from Mixture-of-Experts

Zhong Tao, Zhixiang Chi외 4명|arXiv (Cornell University)|2022. 10. 08.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

Meta-DMoE는 여러 소스 도메인에서 도메인 특화 지식을 흡수하기 위해 Mixture-of-Experts (MoE) 교사 모델을 사용하는 새로운 비지도 테스트 시간 적응 프레임워크를 제안한다. 메타학습 기반의 트랜스포머 기반 집약기와 메타훈련된 학생 네트워크를 활용하여 전문 지식을 융합하고, 소수의 샘플로도 신속하게 적응할 수 있도록 함으로써, 다양한 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하며 도메인 분포 이동 문제에 대해 향상된 일반화 능력과 유연성을 확보한다.

ABSTRACT

In this paper, we tackle the problem of domain shift. Most existing methods perform training on multiple source domains using a single model, and the same trained model is used on all unseen target domains. Such solutions are sub-optimal as each target domain exhibits its own specialty, which is not adapted. Furthermore, expecting single-model training to learn extensive knowledge from multiple source domains is counterintuitive. The model is more biased toward learning only domain-invariant features and may result in negative knowledge transfer. In this work, we propose a novel framework for unsupervised test-time adaptation, which is formulated as a knowledge distillation process to address domain shift. Specifically, we incorporate Mixture-of-Experts (MoE) as teachers, where each expert is separately trained on different source domains to maximize their specialty. Given a test-time target domain, a small set of unlabeled data is sampled to query the knowledge from MoE. As the source domains are correlated to the target domains, a transformer-based aggregator then combines the domain knowledge by examining the interconnection among them. The output is treated as a supervision signal to adapt a student prediction network toward the target domain. We further employ meta-learning to enforce the aggregator to distill positive knowledge and the student network to achieve fast adaptation. Extensive experiments demonstrate that the proposed method outperforms the state-of-the-art and validates the effectiveness of each proposed component. Our code is available at https://github.com/n3il666/Meta-DMoE.

연구 동기 및 목표

• 테스트 데이터 분포가 훈련 데이터와 다를 수 있는 실제 환경에서의 도메인 분포 이동 문제를 해결하기 위해.
• 일반적인 단일 모델의 일반화 한계로 인해 도메인 불변 특징을 편향되게 학습하는 문제를 해결하기 위해.
• 소스 도메인 데이터에 접근할 필요 없이 라벨이 없는 타겟 데이터만을 사용하여 테스트 시간에 신속하고 효과적으로 적응할 수 있도록 하기 위해.
• 도메인 특화 전문가와 메타학습을 활용하여 효율적인 지식 흡수를 통해 모델의 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 프레임워크는 각 전문가가 별도의 소스 도메인에서 미리 훈련되어 도메인 특화 지식을 극대화하는 Mixture-of-Experts (MoE) 아키텍처를 사용한다.
• 테스트 시간에, 소수의 라벨이 없는 타겟 샘플을 사용해 사전 훈련된 MoE 전문가로부터 특징을 쿼리한다.
• 트랜스포머 기반 집약기는 전문가 출력 간의 상호 연결성을 분석하고 도메인 특화 지식을 통합된 감독 신호로 융합한다.
• 학생 네트워크는 집약된 지식을 기반으로 타겟 도메인에 신속히 적응할 수 있도록 메타훈련되며, 양단 최적화를 통해 소수의 샘플로도 신속한 적응을 보장한다.
• 지식 흡수 과정은 최종 출력(logits)뿐만 아니라 중간 특징에도 적용되어 더 풍부한 감독 신호와 향상된 특징 정렬을 가능하게 한다.
• 훈련 과정은 실제 평가 프로토콜과 일치하도록 테스트 시간의 분포 이탈 상황을 시뮬레이션하여 훈련 목표를 현실 평가 환경에 맞춘다.

실험 결과

연구 질문

• RQ1 다양한 소스 도메인에서의 도메인 분포 이동 설정에서 단일 모델 기반 접근법에 비해 다중 전문가 기반 교사 프레임워크가 적응 성능을 향상시킬 수 있는가?
• RQ2 메타학습된 집약기는 다수의 도메인 특화 전문가로부터의 지식을 얼마나 효과적으로 융합하여 신속한 적응을 이끌 수 있는가?
• RQ3 최종 출력(logits)뿐만 아니라 중간 특징까지 흡수하는 것이 테스트 시간 적응에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 메타학습은 소수의 타겟 샘플로도 신속히 적응할 수 있도록 학생 네트워크의 능력을 어떻게 향상시키는가?
• RQ5 실제 환경 제약 조건(예: 데이터 프라이버시 및 계산 효율성) 하에서도 이 프레임워크는 높은 성능 유지를 유지할 수 있는가?

주요 결과

• Meta-DMoE는 네 개의 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하였으며, 집약기와 학생 네트워크가 모두 메타훈련된 경우 테스트 정확도가 77.2%이고 매크로-F1은 34.0%를 기록했다.
• 트랜스포머 기반 집약기는 수작업 설계된 연산자(예: max/average 풀링) 및 MLP 기반 방법보다 뛰어난 성능을 보였으며, 정확도 77.2%와 매크로-F1 34.0%를 달성했다.
• 최종 출력(logits)뿐만 아니라 중간 특징까지 흡수하는 것이, logits만 흡수하는 것보다 더 나은 일반화 성능을 보였으며, 정확도 77.2%와 매크로-F1 34.0%를 기록했다. 반면 logits만 흡수했을 경우 정확도 72.1%와 매크로-F1 26.4%를 기록했다.
• 메타학습 훈련 체계는 적응 성능을 크게 향상시켰으며, 메타훈련된 학생과 집약기 조합이 77.2%의 정확도를 기록한 반면, 무작위 초기화 경우는 32.7%에 머물렀다.
• 제약 조건 하에서도 강건한 성능 유지를 보였으며, 원천 소스 데이터에 접근할 필요 없이 효율적인 추론이 가능하며, 적응 후 MoE 모델을 제거함으로써 계산 자원 절약이 가능했다.