[논문 리뷰] Dynamic Domain Generalization

Zhishu Sun, Z. Shen외 5명|arXiv (Cornell University)|2022. 05. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 추론 중 메타-조정기(meta-adjuster)를 통해 네트워크 파라미터를 동적으로 조정함으로써, 미세조정 없이도 무지개 대상 도메인(agnostic target domains)에 적응할 수 있도록 하는 새로운 훈련-free 프레임워크인 동적 도메인 일반화(Dynamic Domain Generalization, DDG)를 제안한다. 도메인 믹스(DomainMix)를 활용해 다양한 도메인을 시뮬레이션하고, 비대칭 커널 템플릿(asymmetric kernel templates)을 사용해 적응 가능한 파라미터를 생성함으로써, DDG는 PACS, Office-Home, DomainNet 벤치마크에서 어떤 타겟 데이터에 대한 미세조정 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain generalization (DG) is a fundamental yet very challenging research topic in machine learning. The existing arts mainly focus on learning domain-invariant features with limited source domains in a static model. Unfortunately, there is a lack of training-free mechanism to adjust the model when generalized to the agnostic target domains. To tackle this problem, we develop a brand-new DG variant, namely Dynamic Domain Generalization (DDG), in which the model learns to twist the network parameters to adapt the data from different domains. Specifically, we leverage a meta-adjuster to twist the network parameters based on the static model with respect to different data from different domains. In this way, the static model is optimized to learn domain-shared features, while the meta-adjuster is designed to learn domain-specific features. To enable this process, DomainMix is exploited to simulate data from diverse domains during teaching the meta-adjuster to adapt to the upcoming agnostic target domains. This learning mechanism urges the model to generalize to different agnostic target domains via adjusting the model without training. Extensive experiments demonstrate the effectiveness of our proposed method. Code is available at: https://github.com/MetaVisionLab/DDG

연구 동기 및 목표

• 미세조정 없이도 무지개 대상 도메인에 적응할 수 없는 정적 도메인 일반화 모델의 한계를 해결하기 위해.
• 추론 중 모델 파라미터의 동적 적응을 가능하게 하는 훈련 없는 메커니즘을 개발하여, 미지의 도메인으로의 일반화 성능을 향상시키기 위해.
• 분리된 정적-동적 파라미터 구조를 통해 도메인 공유 및 도메인 특화 특징을 분리하기 위해.
• 도메인 레이블이나 실제 타겟 데이터에 의존하지 않고, 시뮬레이션된 신규 도메인을 활용해 메타-조정기를 효과적으로 훈련시키기 위해.

제안 방법

• 네트워크 파라미터를 표준 훈련을 통해 학습된 정적 파트와 추론 시 메타-조정기에 의해 조절되는 동적 파트로 분해한다.
• 입력 인스턴스의 임bedding을 입력으로 사용해 각 인스턴스별로 동적 계수를 생성하는 메타-조정기를 설계한다.
• 저차원 선형 조합을 통해 비대칭 커널 템플릿을 활용해 동적 파라미터를 구성함으로써, 다양한 동적 조정이 가능하게 한다.
• 소스 도메인 간의 선형 보간을 통해 도메인 믹스(DomainMix)를 활용해 신규이자 미리보지 못한 도메인의 데이터를 시뮬레이션함으로써, 메타-조정기 훈련을 위한 다양한 신호를 제공한다.
• 메타-조정기가 실제 무지레 대상 도메인으로 일반화할 수 있도록, 시뮬레이션된 도메인에서의 손실을 최소화하도록 훈련한다. 이로써 타겟 데이터에 대한 미세조정 없이도 성능을 유지할 수 있다.
• t-SNE 시각화와 커널 크기 분석을 통해 동적 계수의 도메인 인식 행동과 강화된 커널 구조를 검증한다.

실험 결과

연구 질문

• RQ1 훈련 없이도, 타겟 도메인을 사전에 알지 못하는 상황에서 딥 모델을 동적으로 적응시킬 수 있는가?
• RQ2 명시적인 도메인 레이블 없이도, 메타-조정기가 도메인 특화 파라미터 조정을 어떻게 학습할 수 있는가?
• RQ3 시뮬레이션된 도메인 믹스(DomainMix)가 실제 무지레 대상 도메인으로의 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 비대칭 커널 템플릿은 동적 파라미터 생성의 표현력과 다양성을 어떻게 향상시키는가?
• RQ5 동적 적응 메커니즘이 정적 도메인 일반화 대비 더 나은 도메인 불변 특징 학습을 이끌어내는가?

주요 결과

• DDG는 PACS, Office-Home, DomainNet 벤치마크에서 기존 도메인 일반화 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 타겟 도메인에 대한 어떤 종류의 미세조정 없이도 성능을 유지한다.
• 제거 실험(ablation study) 결과, 도메인 믹스를 제거할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 이는 메타-조정기 훈련을 위한 다양한 도메인 시뮬레이션에 도메인 믹스의 핵심적 역할을 확인한다.
• t-SNE 시각화 결과, 동적 계수는 명시적인 도메인 감독 없이도 도메인 분포에 따라 분리됨을 확인하였으며, 도메인 인식 능력이 있음을 입증한다.
• 커널 크기 시각화 결과, 비대칭 커널 템플릿이 컨볼루션 커널의 중심 '골격(skeleton)'을 강화하여 특징 학습 능력을 향상시킨다.
• t-SNE 특징 클러스터링 분석 결과, 정적 ResNet 기준 모델 대비 동적 네트워크가 더 견고하고 일반화 능력이 뛰어난 특징을 학습함을 입증한다.
• 추론 시 파라미터 뒤틀기(parameter twisting)를 통해 적응하는 방식으로 실제 무지레 대상 도메인으로도 성공적으로 일반화됨을 보이며, 훈련 없는 도메인 적응의 가능성과 타당성을 입증한다.