[논문 리뷰] Unsupervised Transfer Learning with Self-Supervised Remedy

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|2020. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 자가학습적 보완 방법인 SUPREME를 제안한다. 이는 레이블이 없는 타겟 데이터에서 자가학습 기반의 쌍별 유사도 학습과 레이블이 있는 소스 도메인의 사전 지식을 융합함으로써 비지도 전이 학습에서의 전이 클러스터링 성능을 향상시키는 방법이다. 이 방법은 네 가지 데이터셋에서 클러스터링 성능을 향상시키며, 텍스트나 속성 기반의 지도 학습에 의존하지 않아도 제로샷 학습 벤치마크에서 경쟁적인 성능을 달성한다.

ABSTRACT

Generalising deep networks to novel domains without manual labels is challenging to deep learning. This problem is intrinsically difficult due to unpredictable changing nature of imagery data distributions in novel domains. Pre-learned knowledge does not transfer well without making strong assumptions about the learned and the novel domains. Different methods have been studied to address the underlying problem based on different assumptions, e.g. from domain adaptation to zero-shot and few-shot learning. In this work, we address this problem by transfer clustering that aims to learn a discriminative latent space of the unlabelled target data in a novel domain by knowledge transfer from labelled related domains. Specifically, we want to leverage relative (pairwise) imagery information, which is freely available and intrinsic to a target domain, to model the target domain image distribution characteristics as well as the prior-knowledge learned from related labelled domains to enable more discriminative clustering of unlabelled target data. Our method mitigates nontransferrable prior-knowledge by self-supervision, benefiting from both transfer and self-supervised learning. Extensive experiments on four datasets for image clustering tasks reveal the superiority of our model over the state-of-the-art transfer clustering techniques. We further demonstrate its competitive transferability on four zero-shot learning benchmarks.

연구 동기 및 목표

• 레이블이 있는 소스 도메인에서의 지식을 레이블이 없는 타겟 도메인으로 전이하는 데 있어, 데이터 분포가 알려지지 않았거나 이동되어 있는 상황에 도전한다.
• 공통 레이블 공간이나 의미적 프로토타입을 강하게 가정하는 기존의 비지도 전이 학습 방법의 한계를 극복한다.
• 단어 벡터나 속성 주석이 필요 없는 확장성 있고 일반적인 전이 클러스터링 솔루션을 개발한다.
• 내재된 이미지 관계에서 유도되는 자가학습 제약 조건과 전이된 지도 신호를 동시에 활용하여 레이블이 없는 타겟 데이터의 구분 능력 있는 클러스터링을 향상시킨다.

제안 방법

• 사전에 학습된 소스 모델로부터 전이된 지도 신호와 타겟 도메인 내 이미지 쌍 간의 유사도 기반 자가학습 학습을 융합하는 자가학습 보완(SUPREME)을 도입한다.
• 대조 학습 목표를 사용하여 타겟 도메인 내 이미지 쌍을 비교함으로써 내재된 분포 특성을 모델링하는 자가학습 신호를 생성한다.
• 온도 조절된 신뢰도 분포를 적용하여 전이된 사전 지식의 신뢰성과 자가학습 신호 간의 균형을 맞춘다.
• 다양한 정규화 기법을 통합한다: 클러스터 크기 분포의 안정화를 위한 균형 정규화, 공유 특징을 유지하기 위한 이진 정규화, 그리고 비미니멀 표현을 방지하기 위한 다중 작업 정규화.
• 전이된 신호와 자가학습 신호를 통합한 잠재 공간에서 끝에서 끝까지 모델을 훈련한다.
• 보조 학습 원리를 활용하여 도메인 이동 상황에서 전이가 어려운 또는 오해의 소지가 있는 사전 지식을 자가학습 신호가 보완할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기학습 기반 학습이 분포 이동이 있는 레이블이 없는 타겟 도메인에서 전이된 지도 신호를 효과적으로 보완하여 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 의미적 또는 속성 기반의 지도 학습을 사용하지 않고도, 제안된 SUPREME 방법이 최신의 전이 클러스터링 및 제로샷 학습 모델과 비교해 어떻게 성능을 내는가?
• RQ3 모델 성능에서 전이된 지도 신호와 자가학습 신호의 상대적 기여도는 어떻게 되며, 이들의 상호작용은 어떠한가?
• RQ4 온도 파라미터가 신뢰도 분포에 영향을 미치는 정도는 어떠한가? 특히 하이퍼파라미터 선택에 대한 모델의 민감도는 어떠한가?
• RQ5 단어 벡터 공간이나 속성 학습에 의존하지 않고도 SUPREME가 제로샷 학습 벤치마크에 얼마나 잘 일반화되는가?

주요 결과

• SUPREME는 전이된 신호와 자가학습 신호를 효과적으로 융합함으로써 네 가지 전이 클러스터링 벤치마크에서 최고 성능을 달성한다.
• 텍스트나 속성 기반의 의미적 표현을 전혀 사용하지 않아도 네 가지 제로샷 학습 벤치마크에서 경쟁적인 성능을 보인다.
• 절단 실험 결과, 전이된 지도 신호와 자가학습 신호가 각각 독립적으로 성능 기여를 하며, 두 신호의 조합이 가장 우수한 성능을 낸다.
• 온도 하이퍼파라미터는 성능에 상당한 영향을 미치지만, 데이터셋에 따라 다르게 작용함을 보여, 도메인 특화된 분포 이동에 민감함을 시사한다.
• 균형 정규화, 이진 정규화, 다중 작업 정규화 중 어느 하나라도 제거할 경우 성능에 심각한 하락이 발생함을 확인하여, 이 정규화 기법들이 반드시 필요하고 상호 보완적이지 않음을 입증한다.
• CIFAR10에서는 자가학습 모델 자체가 SUPREME를 약간 뛰어넘는 성능을 보이며, 일부 도메인에서는 사전 지식이 잘못 전이되거나 비효율적일 수 있음을 시사한다.