[논문 리뷰] Optimal Transport for Multi-source Domain Adaptation under Target Shift

Ievgen Redko, Courty, Nicolas외 2명|Socio-Environmental Systems Modeling|2018. 03. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 15

한 줄 요약

이 논문은 타겟 분포의 클래스 비율이 다를 때를 고려한 다중 소스 도메인 적응을 위한 새로운 최적 운반 이론 기반 방법인 JCPOT을 제안한다. 이 방법은 레이블이 없는 타겟 도메인의 클래스 비율을 공동으로 추정하고 도메인 간 정렬을 수행한다. 합성 및 실제 위성 이미지 분류 작업에서 최신 기술을 초월하여, 기준 모델 대비 최대 10%의 정확도 향상을 달성한다.

ABSTRACT

In this paper, we propose to tackle the problem of reducing discrepancies between multiple domains referred to as multi-source domain adaptation and consider it under the target shift assumption: in all domains we aim to solve a classification problem with the same output classes, but with labels' proportions differing across them. This problem, generally ignored in the vast majority papers on domain adaptation papers, is nevertheless critical in real-world applications, and we theoretically show its impact on the adaptation success. To address this issue, we design a method based on optimal transport, a theory that has been successfully used to tackle adaptation problems in machine learning. Our method performs multi-source adaptation and target shift correction simultaneously by learning the class probabilities of the unlabeled target sample and the coupling allowing to align two (or more) probability distributions. Experiments on both synthetic and real-world data related to satellite image segmentation task show the superiority of the proposed method over the state-of-the-art.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인의 클래스 비율이 다를 때 발생하는 중요한 문제이지만 자주 간과되는 타겟 분포의 변화 문제를 해결하기 위해.
• 최적 운반 이론을 사용하여 소스 및 타겟 도메인 분포를 정렬하면서도, 알려지지 않은 타겟 도메인의 클래스 비율을 동시에 추정하는 방법을 개발하기 위해.
• 공간적 도메인 간 클래스 불균형이 흔한 원격 감시 분야와 같은 실제 응용 분야에서의 적응 성능을 향상시키기 위해.
• 사전 지식이 없는 타겟 클래스 비율에 의존하지 않고, 다중 소스 설정에서 비지도 타겟 분포 변화 상황을 다룰 수 있도록 최적 운반 이론 프레임워크를 확장하기 위해.

제안 방법

• JCPOT는 레이블이 없는 타겟 도메인의 클래스 비율과 소스 및 타겟 분포 간 최적 운반 쌍을 함께 최적화한다.
• 이 방법은 다수의 소스 도메인과 단일 타겟 도메인 간의 정렬을 가능하게 하는 워셔스타인 바리센터 계산으로 적응 문제를 공식화한다.
• 예측의 정밀도를 향상시키고 일반화 성능을 개선하기 위해 레이블 전파 기법을 활용하며, 특히 자원이 제한된 타겟 환경에서 유용하다.
• 위성 이미지 슈퍼픽셀과 같은 고차원 데이터에 적합하도록 최적 운반 이론의 엔트로피 정규화의 계산 효율성을 활용한다.
• 도메인 정렬과 비율 추정을 균형 있게 유지하는 미분 가능한 목적 함수를 사용해 엔드 투 엔드로 훈련한다.
• 타겟 도메인의 클래스 분포에 대한 사전 지식이 필요 없기 때문에, 실제 비지도 적응에 적합하다.

실험 결과

연구 질문

• RQ1 특히 소스 도메인과 타겟 도메인 간 클래스 비율이 다를 때, 기존 도메인 적응 방법의 성능에 어떤 영향을 미치는가?
• RQ2 최적 운반 이론이 타겟 분포 변화 상황에서 타겟 도메인의 클래스 비율 추정과 다중 소스 도메인 정렬을 동시에 효과적으로 확장할 수 있는가?
• RQ3 비율 추정과 도메인 정렬을 공동으로 수행할 경우, 별도 또는 순차적 접근 방식에 비해 분류 정확도 향상 정도는 어느 정도인가?
• RQ4 합성 및 실제 원격 감시 응용 분야에서 JCPOT은 최신 기술 대비 어떤 성능을 보이는가?
• RQ5 초고해상도 위성 이미지의 슈퍼픽셀 특징과 같은 고차원 데이터에 대해 이 방법은 효과적으로 확장 가능한가?

주요 결과

• 취리히 여름 위성 이미지 데이터셋에서 JCPOT-LP는 '적응 없음' 기준 모델 대비 분류 정확도에서 10% 향상을 달성했다.
• JCPOT-LP는 '타겟 전용' 기준 모델을 능가하여, 적절한 적응 후에 다수의 소스 도메인을 활용하는 것이 유의미한 이점을 제공한다는 것을 입증했다.
• 다중 소스 합성 실험에서 JCPOT는 14번 설정에서 F1 점수 0.673을 기록하여 모든 기준 모델보다 뛰어난 성능을 보였다.
• 소스 도메인의 수가 증가할수록 일관된 성능 향상이 관찰되어, 이 방법의 확장성과 강건성을 확인했다.
• JCPOT의 성능는 클래스 비율에 대한 사전 지식이 있는 방법과 거의 동일하여, 알려지지 않은 타겟 분포를 정확하고 신뢰성 있게 추정할 수 있음을 시사한다.
• 모든 평가 설정에서 최신 기술 수준의 성능을 달성하였으며, JCPOT-LP는 항상 최고의 F1 점수를 기록했다.