[논문 리뷰] OTCE: A Transferability Metric for Cross-Domain Cross-Task Representations

Tan Yang, Yang Li외 1명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 4

한 줄 요약

이 논문은 교차 도메인, 교차 작업 지도 학습을 위한 새로운 분석적 이행 가능성 메트릭인 OTCE를 제안한다. OTCE는 최적 운반(optimal transport)을 통해 도메인 차이를 공동으로 모델링하고, 조건부 엔트로피를 통해 작업 차이를 모델링함으로써 이행 성능를 정량화한다. OTCE는 DomainNet과 Office31에서 최신 기법들 대비 실제 이행 정확도와의 상관관계에서 평균 21% 향상된 성능를 기록하여, 효율적인 소스 모델 선택과 가중치 기반 다중 소스 특징 융합을 가능하게 한다.

ABSTRACT

Transfer learning across heterogeneous data distributions (a.k.a. domains) and distinct tasks is a more general and challenging problem than conventional transfer learning, where either domains or tasks are assumed to be the same. While neural network based feature transfer is widely used in transfer learning applications, finding the optimal transfer strategy still requires time-consuming experiments and domain knowledge. We propose a transferability metric called Optimal Transport based Conditional Entropy (OTCE), to analytically predict the transfer performance for supervised classification tasks in such cross-domain and cross-task feature transfer settings. Our OTCE score characterizes transferability as a combination of domain difference and task difference, and explicitly evaluates them from data in a unified framework. Specifically, we use optimal transport to estimate domain difference and the optimal coupling between source and target distributions, which is then used to derive the conditional entropy of the target task (task difference). Experiments on the largest cross-domain dataset DomainNet and Office31 demonstrate that OTCE shows an average of 21% gain in the correlation with the ground truth transfer accuracy compared to state-of-the-art methods. We also investigate two applications of the OTCE score including source model selection and multi-source feature fusion.

연구 동기 및 목표

• 교차 도메인, 교차 작업 이행 학습에서 도메인 차이와 작업 차이가 모두 이행 가능성 저하를 초래하는 문제를 해결하기 위해.
• 소스 모델 재학습이 비용이 많이 드는 것을 방지하기 위해 분석적이고 효율적이며 해석 가능한 메트릭을 개발하기 위해.
• 이행 가능성 추정 성능 향상을 위해 도메인 이동과 작업 이동을 하나의 프레임워크에서 통합적으로 모델링하기 위해.
• 이행 가능성 점수를 활용해 실용적 응용 예를 제공하기 위해, 예를 들어 소스 모델 선택과 다중 소스 특징 융합을 수행하기 위해.

제안 방법

• 소스와 타겟 데이터 분포 간 최적 운반을 통해 계산된 워셔스타인 거리(Wasserstein distance)를 사용해 도메인 차이를 모델링한다.
• 최적 운반 해법을 통해 소스와 타겟 샘플 간의 결합(coupling)을 추정하고, 이를 바탕으로 조건부 엔트로피를 계산하여 작업 차이의 척도로 활용한다.
• 도메인 차이와 작업 차이의 선형 조합으로서 이행 가능성을 공식화하고, 보조 작업에 대한 최소 제곱 피팅을 통해 학습한다.
• 학습된 선형 모델을 사용해 재학습 없이 도메인 차이와 작업 차이로부터 이행 정확도를 예측한다.
• 다양한 소스 모델 간의 OTCE 점수를 정규화하여 다중 소스 특징 융합을 위한 가중치를 생성한다.
• 이 메트릭을 두 가지 응용에 적용한다: 소스 모델 선택과 가중치 기반 특징 융합이며, DomainNet과 Office31에서 검증하였다.

실험 결과

연구 질문

• RQ1 도메인과 작업 차이가 모두 존재하는 교차 도메인, 교차 작업 이행 학습 환경에서 이행 가능성을 정확히 예측할 수 있는 방법은 무엇인가?
• RQ2 소스 모델 재학습 없이도 분석적 메트릭이 경험적 또는 히우리스틱 메트릭을 능가할 수 있는가?
• RQ3 도메인 차이와 작업 차이가 이행 가능성에 어떻게 공동으로 영향을 미치며, 이들을 통합된 프레임워크에서 모델링할 수 있는가?
• RQ4 실제 응용에서 OTCE 점수가 소스 모델 선택과 다중 소스 특징 융합을 효과적으로 이끌 수 있는가?

주요 결과

• OTCE는 DomainNet과 Office31 데이터셋에서 최신 기법들 대비 실제 이행 정확도와의 상관관계에서 평균 21% 향상된 성능를 기록한다.
• DomainNet에서 OTCE는 LEEP와 NCE를 능가하여 타겟 도메인 전반에 걸쳐 평균 86.4%의 정확도를 달성하며 소스 모델 선택에서 뛰어난 성능를 보였다.
• OTCE 점수에 기반한 특징 융합은 평균 융합 및 자기 훈련 기반 모델들을 항상 능가하여 목표 작업에서 향상된 일반화 성능를 입증하였다.
• 보조 작업을 활용해 모델 계수를 학습함으로써, 조기 학습 예제가 적은 상황에서도 OTCE의 실제 이행 가능성과의 상관관계가 크게 향상됨을 확인하였다.
• 다양한 도메인 이동 상황에서도 안정적인 성능를 유지하여 특정 데이터 분포를 초월한 강력한 일반화 능력을 보였다.
• OTCE를 통해 이행 가능성의 도메인 차이와 작업 차이로의 분해는 이행 학습의 동역학에 대해 해석 가능한 통찰을 제공한다.