[논문 리뷰] Label Efficient Learning of Transferable Representations across Domains and Tasks

Zelun Luo, Yuliang Zou외 2명|arXiv (Cornell University)|2017. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 55

한 줄 요약

레이블이 제한된 상태에서 도메인 간 전이와 태스크 간 전이를 가능하게 하는 도메인 불변 표현 및 의미 전달을 학습하는 반지도 학습 프레임워크로, SVHN→MNIST 및 ImageNet→UCF-101에서 검증됨.

ABSTRACT

We propose a framework that learns a representation transferable across different domains and tasks in a label efficient manner. Our approach battles domain shift with a domain adversarial loss, and generalizes the embedding to novel task using a metric learning-based approach. Our model is simultaneously optimized on labeled source data and unlabeled or sparsely labeled data in the target domain. Our method shows compelling results on novel classes within a new domain even when only a few labeled examples per class are available, outperforming the prevalent fine-tuning approach. In addition, we demonstrate the effectiveness of our framework on the transfer learning task from image object recognition to video action recognition.

연구 동기 및 목표

• 서로 다른 라벨 공간을 가진 도메인 간에 이전 가능한 표현을 학습합니다.
• 반지도 및 비지도 신호를 통해 타깃 도메인의 라벨 요구를 줄입니다.
• 다층 도메인 적대 손실로 소스와 타깃 특성 분포를 정렬합니다.
• 라벨 세트가 겹치지 않을 때 의미 전달을 가능하게 합니다.
• 시각 도메인 간(이미지에서 비디오) 및 태스크 간(분류에서 동작 인식) 이전을 시연합니다.

제안 방법

• 더 깊은 정렬을 위한 다층 도메인 판별자를 사용한 도메인 및 의미 전달의 공동 학습.
• 여러 네트워크 계층에서 소스와 타깃 임베딩을 정렬하는 도메인 적대 목표.
• 레이블이 없는 타깃 데이터와 레이블이 있는 데이터 간의 유사성에 대한 엔트로피 최소화를 이용한 의미 전달 목표, 소프트맥스 온도 조절 포함.
• 레이블 공간이 다를 때 정보를 전달하기 위한 범주 간 유사성, 비지도 및 지도 구성요소를 함께 사용.
• 레이블링된 타깃 데이터에 대한 메트릭 기반 교차 엔트로피 손실로 타깃 도메인 학습을 안정화.
• 총 목적 함수는 가중치를 조정 가능한 감독 타깃 손실, 도메인 전이 손실, 의미 전달 손실을 결합합니다.

실험 결과

연구 질문

• RQ1 레이블이 겹치지 않는 타깃 도메인에서 소스 도메인으로부터 학습된 공유 임베딩이 효과적으로 전이될 수 있는가?
• RQ2 다층 도메인 적대 학습이 단층 접근법보다 도메인 간 정렬을 향상시키는가?
• RQ3 소스와 타깃 라벨 공간이 완전히 겹치지 않을 때도 페어 간 유사성과 온도 제어된 소프트맥스를 통한 의미 전달로 전이가 가능할까?
• RQ4 이미지에서 비디오로와 같이 상당히 다른 모달리티 간의 프레임 전이가 가능한가?
• RQ5 미라 타깃 성능에 대한 비지도 학습 데이터와 희소 타깃 라벨이 미치는 영향은 무엇인가?

주요 결과

• 제안 방법은 특히 타깃의 아주 적은 라벨 예제에서 파인튜닝보다 더 높은 성능을 보입니다.
• 다층 도메인 적대 손실이 단층 방법보다 타깃 분류 성능을 향상시키고 학습을 더 안정적으로 만듭니다.
• 온도 매개변수를 가진 엔트로피 최소화를 통한 의미 전달이 라벨 공간이 겹치지 않아도 전이를 가능하게 합니다.
• ImageNet 이미지에서 UCF-101 비디오 동작 인식으로의 전이와 같이 태스크 간 전이 가능성을 보여줍니다.
• 비지도 도메인 적응 실험에서 다층 접근 방식이 경쟁 방법보다 더 높은 정확도를 달성합니다.