[논문 리뷰] Learning from a Complementary-label Source Domain: Theory and Algorithms

Yiyang Zhang, Feng Liu외 4명|arXiv (Cornell University)|2020. 08. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 75인용 수 9

한 줄 요약

이 논문은 진짜 레이블 대신 비용이 저렴한 보조 레이블(예: 예측한 클래스가 아닌 클래스로 레이블링된 예시)을 사용하는 보조 레이블 소스 데이터를 활용한 비지도 도메인 적응(UDA)을 위한 새로운 일단계 적대적 딥 러닝 프레임워크인 CLARINET을 제안한다. CLARINET은 보조 레이블 분류와 도메인 불변 표현 학습을 동시에 최적화하여 수기 숫자 및 물체 인식 작업에서 최신 기술 수준의 성능을 달성하며, 진짜 레이블이 필요한 기존 기준보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

In unsupervised domain adaptation (UDA), a classifier for the target domain is trained with massive true-label data from the source domain and unlabeled data from the target domain. However, collecting fully-true-label data in the source domain is high-cost and sometimes impossible. Compared to the true labels, a complementary label specifies a class that a pattern does not belong to, hence collecting complementary labels would be less laborious than collecting true labels. Thus, in this paper, we propose a novel setting that the source domain is composed of complementary-label data, and a theoretical bound for it is first proved. We consider two cases of this setting, one is that the source domain only contains complementary-label data (completely complementary unsupervised domain adaptation, CC-UDA), and the other is that the source domain has plenty of complementary-label data and a small amount of true-label data (partly complementary unsupervised domain adaptation, PC-UDA). To this end, a complementary label adversarial network} (CLARINET) is proposed to solve CC-UDA and PC-UDA problems. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines on handwritten-digits-recognition and objects-recognition tasks.

연구 동기 및 목표

• 비지도 도메인 적응(UDA)에서 완전한 진짜 레이블 데이터를 수집하는 데 드는 높은 비용 문제를 해결하기 위해 보조 레이블 소스 데이터를 사용하는 새로운 설정을 제안한다.
• 두 가지 새로운 UDA 시나리오인 완전 보조 UDA(전체적으로 보조 레이블만 존재하는 경우, CC-UDA)와 부분 보조 UDA(보조 레이블과 소량의 진짜 레이블이 함께 존재하는 경우, PC-UDA)를 체계적으로 정의하고 분석한다.
• 진짜 레이블이 필요 없이 보조 레이블 소스 데이터를 직접 다룰 수 있는 통합된 일단계 딥 러닝 프레임워크인 CLARINET을 개발한다.
• 보조 레이블에서 학습하는 데 대한 일반화 경계를 증명함으로써 제안된 설정의 이론적 타당성을 입증한다.

제안 방법

• CLARINET은 보조 레이블 분류를 위한 딥 네ural 네트워크와 적대적 훈련을 통해 도메인 불변 표현을 학습하는 또 다른 네트워크를 사용한다.
• 특징과 클래스 예측을 모두 활용하는 조건부 적대적 판별기(디스criminator)를 도입하여 다중모달 데이터 분포를 모델링함으로써 도메인 정렬 성능을 향상시킨다.
• 예측의 신뢰도를 높이기 위해 네트워크 출력의 로짓(logits)에 셰이퍼닝 함수(sharpening function)를 적용한다. 이는 효과적인 보조 레이블 학습에 매우 중요하다.
• 종합적인 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련한다: 보조 레이블에 대한 교차 엔트로피 손실와 도메인 적대적 손실을 결합하여 소스 및 타겟 도메인의 표현을 정렬한다.
• C→T, U→M, M→U, S→M, Y→M, Y→S, M→m 등의 다양한 도메인 적응 작업을 지원하며, 작업에 따라 아키텍처를 적응시킨다.
• 레이블 보정 후 UDA를 수행하는 두 단계 프로세스를 피함으로써 보조 레이블이 있는 소스 데이터에서 타겟 도메인의 레이블이 없는 데이터로 직접이고 효율적인 지식 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응에서 진짜 레이블 대신 보조 레이블 소스 데이터를 효과적으로 학습할 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 진짜 레이블 소스 데이터의 비율이 감소할 경우 도메인 적응 성능가 어떻게 저하되며, 보조 레이블이 이를 완화할 수 있는가?
• RQ3 보조 레이블을 먼저 보정하고 나서 표준 UDA를 적용하는 두 단계 접근 방식에 비해, CLARINET과 같은 일단계 적대적 프레임워크가 더 뛰어난 성능을 낼 수 있는가?
• RQ4 조건부 적대적 훈련과 셰이퍼닝 함수는 보조 레이블을 사용한 적응 성능 향상에 어떤 기여를 하는가?
• RQ5 제안된 보조 레이블 학습에 대한 이론적 일반화 경계가 다양한 도메인 적응 작업 전반에서 실제로 성립하는가?

주요 결과

• CLARINET은 수기 숫자 및 물체 인식 벤치마크를 포함한 일곱 가지 보조 레이블 기반 UDA 작업에서 모든 경쟁 기준보다 뚜렷하게 뛰어난 성능을 보였다.
• 보조 레이블 데이터만으로 훈련된 CLARINET의 타겟 도메인 정확도는, 보정된 레이블을 사용한 표준 UDA 방법보다도 높았다.
• 실험 결과, 소스 도메인 내 진짜 레이블 데이터의 양이 증가할수록 CLARINET의 성능이 향상됨을 확인하여, PC-UDA에서 두 레이블 유형을 결합하는 것이 유의미한 이점을 제공함을 입증했다.
• 절단 실험(Ablation studies) 결과, 조건부 적대적 훈련과 셰이퍼닝 함수는 필수적인 구성 요소임을 확인하였으며, 이를 제거할 경우 성능이 심각하게 저하됨을 보였다.
• 보조 레이블에 대해 표준 UDA를 그대로 적용하는 C w/ L_CE 기준은 랜덤 분류보다도 성능이 열 劣하므로, 표준 UDA 방법이 보조 레이블 데이터를 직접 다룰 수 없다는 점을 입증한다.
• 보조 레이블 학습에 대한 제안된 이론적 일반화 경계는 실증적으로 검증되었으며, 이는 새로운 설정의 실현 가능성에 대한 지원을 제공한다.