[논문 리뷰] TWINs: Two Weighted Inconsistency-reduced Networks for Partial Domain Adaptation

Toshihiko Matsuura, Kuniaki Saito외 1명|arXiv (Cornell University)|2018. 12. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 15

한 줄 요약

TWINs는 부분 도메인 적응(PDA)를 위한 새로운 이중 분기 네트워크를 제안하며, 타겟 도메인의 레이블 분포를 공동으로 추정하고 타겟 샘플에서 분류기의 일관성 불일치를 최소화하여 분류 정확도를 향상시킨다. 추정된 타겟 클래스 비율을 통해 분류 손실에 가중치를 부여하고, 두 분류기 간의 타겟 입력에 대한 불일치를 줄임으로써 TWINs는 여러 PDA 벤치마크에서 최신 기술(SOTA) 성능을 달성하며 기존 방법들에 비해 크게 뛰어나다.

ABSTRACT

The task of unsupervised domain adaptation is proposed to transfer the knowledge of a label-rich domain (source domain) to a label-scarce domain (target domain). Matching feature distributions between different domains is a widely applied method for the aforementioned task. However, the method does not perform well when classes in the two domains are not identical. Specifically, when the classes of the target correspond to a subset of those of the source, target samples can be incorrectly aligned with the classes that exist only in the source. This problem setting is termed as partial domain adaptation (PDA). In this study, we propose a novel method called Two Weighted Inconsistency-reduced Networks (TWINs) for PDA. We utilize two classification networks to estimate the ratio of the target samples in each class with which a classification loss is weighted to adapt the classes present in the target domain. Furthermore, to extract discriminative features for the target, we propose to minimize the divergence between domains measured by the classifiers' inconsistency on target samples. We empirically demonstrate that reducing the inconsistency between two networks is effective for PDA and that our method outperforms other existing methods with a large margin in several datasets.

연구 동기 및 목표

• 타겟 클래스가 소스 클래스의 부분집합인 부분 도메인 적응(PDA)의 과제를 해결하라. 이는 표준 도메인 적응 방법을 사용할 경우 잘못된 정렬을 유도한다.
• 모서리 특성 분포 매칭의 한계를 극복하라. 이는 타겟 샘플을 소스 전용 클래스에 잘못 할당할 수 있다.
• 적응 과정에 작업별 특화된 분류기 경계를 통합하여 타겟 샘플의 특징 구별 능력을 향상시킨다.
• 적대적 훈련에 의존하지 않고 부분 도메인 분산을 효과적으로 측정하는 방법을 개발한다.
• 레이블 분포 추정과 두 분류기 간의 불일치 정규화를 결합하여 PDA에서 뛰어난 성능을 달성한다.

제안 방법

• 타겟 샘플의 레이블 분포를 추정하기 위해 별도로, 공유하지 않는 두 개의 분류 네트워크를 훈련시어, 단일 네트워크보다 더 정확한 추정이 가능하도록 한다.
• 추정된 타겟 레이블 분포를 사용하여 소스 데이터의 분류 손실에 가중치를 적용함으로써, 타겟 도메인에 존재하는 클래스에 집중적으로 훈련한다.
• 타겟 입력에 대한 두 분류기의 예측 간 불일치를 최소화하여 일치를 장려하고 더 구별 능력 있는 특징을 추출한다.
• 타겟 입력에서 두 네트워크 간의 불일치를 기반으로 도메인 분산 손실을 제안하며, 부분 분포 매칭을 위해 적대적 훈련을 대체한다.
• 세 단계 훈련 절차를 도입한다: 소스 데이터에서의 사전 훈련, 레이블 분포 가중치를 통한 공동 적응, 불일치 정규화.
• 부분 도메인 이동을 더 잘 다루기 위해 적대적 훈련을 피하고, 대신 분류기 일관성과 타겟 전용 레이블 추정에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 타겟 레이블 분포의 공동 추정과 분류기 불일치 최소화가 부분 도메인 적응에서 성능 향상에 기여하는가?
• RQ2 타겟 샘플에서 분류기 간 불일치를 최소화하는 것이 특징의 구별 능력과 분류 정확도에 어떤 영향을 미치는가?
• RQ3 적대적 훈련을 불일치 정규화로 대체하면 PDA 환경에서 더 나은 성능을 내는가?
• RQ4 타겟 클래스 수가 적거나 작업 간으로 변할 경우 이 방법은 어떻게 성능을 내는가?
• RQ5 제안된 방법은 소스와 타겟이 모든 클래스를 공유하는 표준 도메인 적응에서도 일반화 가능한가?

주요 결과

• TWINs는 여러 PDA 벤치마크에서 기존 방법들에 비해 크게 뛰어난 성능을 보이며, 디지트(MNIST, USPS, SVHN)와 교통 표지(GTSRB)를 포함한다.
• SVHN → MNIST(10→5 클래스) 작업에서 TWINs는 93.1%의 정확도를 달성하여 다음으로 좋은 방법보다 뚜렷이 뛰어나다.
• 제거 실험 결과, 불일치 손실을 제거하면 특히 타겟 클래스 수가 적을 경우 성능 저하가 발생함을 확인하여, 이 손실의 중요성을 입증한다.
• 추정된 레이블 분포는 훈련 중에 진짜 값에 수렴한다: 30 에포크 후, 모든 타겟 샘플이 타겟에 존재하는 소스 클래스에 정확히 할당된다.
• 표준 도메인 적응(전체 클래스 겹침) 환경에서도 TWINs는 경쟁적인 성능을 보이며, PDA를 넘어서 보다 넓은 적용 가능성을 입증한다.