[논문 리뷰] On Learning Domain-Invariant Representations for Transfer Learning with Multiple Sources

Trung Phung, Trung Le외 5명|arXiv (Cornell University)|2021. 11. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 다중 소스 도메인 적응(MSDA) 및 도메인 일반화(DG) 설정에서 도메인 불변(DI) 표현을 학습하기 위한 이론적 프레임워크를 제안한다. 새로운 목표 일반화 손실에 대한 상한선을 바탕으로 일반형과 압축형 두 가지 유형의 DI 표현을 도출하며, 이들 간의 상충 관계를 규명한다: 과도한 압축은 성능을 떨어뜨리지만, 적절한 압축은 강건성을 향상시킬 수 있다. Colored MNIST와 PACS에서의 실험을 통해 이론이 검증되었으며, 중간 수준의 압축에서 최적의 성능이 나타남을 확인하였다.

ABSTRACT

Domain adaptation (DA) benefits from the rigorous theoretical works that study its insightful characteristics and various aspects, e.g., learning domain-invariant representations and its trade-off. However, it seems not the case for the multiple source DA and domain generalization (DG) settings which are remarkably more complicated and sophisticated due to the involvement of multiple source domains and potential unavailability of target domain during training. In this paper, we develop novel upper-bounds for the target general loss which appeal to us to define two kinds of domain-invariant representations. We further study the pros and cons as well as the trade-offs of enforcing learning each domain-invariant representation. Finally, we conduct experiments to inspect the trade-off of these representations for offering practical hints regarding how to use them in practice and explore other interesting properties of our developed theory.

연구 동기 및 목표

• 다중 소스 도메인 적응(MSDA) 및 도메인 일반화(DG) 설정에서 도메인 불변(DI) 표현에 대한 엄밀한 이론적 이해 부족 문제를 해결하기 위해.
• MSDA 및 DG 설정에서 목표 일반화 손실에 대한 상한선을 개발하여, DI 표현의 공식적 특성화를 가능하게 하기 위해.
• 성능와 불변성 측면에서 일반 DI 표현 학습과 압축 DI 표현 학습 간의 상충 관계를 분석하기 위해.
• 실세계 전이 학습 시나리오에서 이러한 표현을 효과적으로 활용할 수 있는 실용적 지침을 제공하기 위해.
• 합성 데이터(Colored MNIST)와 실제 데이터(PACS) 세트를 대상으로 이론적 발견을 경험적으로 검증하기 위해.

제안 방법

• MSDA 및 DG 설정에서 목표 일반화 손실에 대한 두 가지 새로운 상한선을 유도하여, 도메인 불변 표현 학습과 연결한다.
• 두 가지 유형의 DI 표현을 정의한다: 일반 DI 표현(소스 및 타겟 도메인 간의 발산을 최소화하는 표현)과 압축 DI 표현(차원 축소를 통해 발산을 최소화하는 표현).
• 유도된 상한선을 활용하여 두 표현 유형 간의 상충 관계를 분석하며, 특히 압축이 목표 손실의 하한선에 어떤 영향을 미치는지 분석한다.
• 소스-소스 및 소스-타겟 압축을 위해 도메인 식별자와 함께 적대적 훈련을 적용하여 특징 공간 내 불변성을 강제한다.
• 분류 손실, 도메인 적대적 손실, 압축 정규화를 통합한 통합 훈련 목표함수를 활용하여 두 표현 유형을 최적화한다.
• 압축 강도를 변화시키며 Colored MNIST(MSDA)와 PACS(DG)에서 실험을 수행하고 타겟 정확도를 측정하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 다중 소스 도메인 적응 및 도메인 일반화 설정에서 도메인 불변 표현의 이론적으로 타당한 정의는 무엇인가?
• RQ2 일반형 DI 표현과 압축형 DI 표현은 그 인덕티브 바이어스와 최적화 목표 측면에서 어떻게 다를까?
• RQ3 목표 일반화 성능 측면에서 일반 DI 표현 학습과 압축 DI 표현 학습 간의 상충 관계는 어떠한가?
• RQ4 이론적 상충 관계 상한선은 목표 정확도를 최대화하기 위한 최적의 압축 수준을 예측할 수 있는가?
• RQ5 도메인 이동의 심각도가 다양할 경우(예: 가까운 vs. 먼 타겟 도메인), 이러한 표현들은 어떻게 행동하는가?

주요 결과

• 이론적 분석을 통해 일반 DI 표현은 소스와 타겟 도메인 간의 발산을 최소화하는 반면, 압축 DI 표현은 차원 축소를 통해 발산을 최소화함으로써 서로 다른 인덕티브 바이어스를 가짐을 밝혀냈다.
• 상충 관계 존재: 과도한 압축은 목표 손실의 하한선을 상승시켜 성능 저하를 초래하며, 특히 먼 도메인 설정에서 더욱 심각한 영향을 미친다.
• Colored MNIST에서 중간 수준의 압축이 타겟 정확도를 향상시키며, 최적점이 도달한 후에 하락함을 확인하여 이론적 상충 관계를 확인하였다.
• PACS에서 예술 그림과 스케치 타겟 도메인 모두가 압축에 따라 U자형의 정확도 곡선을 보이며, 성능 최적점이 존재함을 확인하였다.
• 가까운 타겟 도메인(예: 예술 그림)에서는 압축의 부정적 영향이 완화되어, 더 적은 이동이 있는 설정에서는 압축 DI 표현이 진짜 레이블링 함수를 더 잘 근사함을 시사한다.
• 일반 DI 표현을 사용한 모델는 훈련 데이터에 과적합되며, 후속 훈련 반복에서 성능 저하를 보이는 반면, 압축 DI 표현은 더 우수한 일반화 성능 유지를 보였다.