[논문 리뷰] Learning to cluster in order to transfer across domains and tasks

Yen-Chang Hsu, Zhaoyang Lv외 1명|arXiv (Cornell University)|2017. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 92

한 줄 요약

논문은 전이 가능한 쌍궤적 유사성 함수와 클러스터링 네트워크를 학습하여 대상 라벨이 필요 없는 지도학습 없는 교차 태스크 및 교차 도메인 전이를 가능하게 하고, 최첨단 클러스터링 및 도메인 적응 결과를 달성한다.

ABSTRACT

This paper introduces a novel method to perform transfer learning across domains and tasks, formulating it as a problem of learning to cluster. The key insight is that, in addition to features, we can transfer similarity information and this is sufficient to learn a similarity function and clustering network to perform both domain adaptation and cross-task transfer learning. We begin by reducing categorical information to pairwise constraints, which only considers whether two instances belong to the same class or not. This similarity is category-agnostic and can be learned from data in the source domain using a similarity network. We then present two novel approaches for performing transfer learning using this similarity function. First, for unsupervised domain adaptation, we design a new loss function to regularize classification with a constrained clustering loss, hence learning a clustering network with the transferred similarity metric generating the training inputs. Second, for cross-task learning (i.e., unsupervised clustering with unseen categories), we propose a framework to reconstruct and estimate the number of semantic clusters, again using the clustering network. Since the similarity network is noisy, the key is to use a robust clustering algorithm, and we show that our formulation is more robust than the alternative constrained and unconstrained clustering approaches. Using this method, we first show state of the art results for the challenging cross-task problem, applied on Omniglot and ImageNet. Our results show that we can reconstruct semantic clusters with high accuracy. We then evaluate the performance of cross-domain transfer using images from the Office-31 and SVHN-MNIST tasks and present top accuracy on both datasets. Our approach doesn't explicitly deal with domain discrepancy. If we combine with a domain adaptation loss, it shows further improvement.

연구 동기 및 목표

• 특징을 넘어 쌍궤적 의미적 유사성을 전이시키는 전이 학습의 동기 부여.
• 예측된 유사성을 전이 가능한 제약으로 활용하는 학습 가능한 클러스터링 목표를 제안.
• 교차 태스크 및 교차 도메인 전이를 가능하게 하는 유사성 예측 네트워크와 제약된 클러스터링 네트워크를 개발.
• 교차 태스크 전이를 통한 Omniglot 및 ImageNet에서의 최첨단 클러스터링 시연.
• 제안된 프레임워크를 사용한 Office-31 및 SVHN–MNIST에서의 강력한 도메인 적응 이점 시연.

제안 방법

• 쿼터를 전이 정보로 전이하는 클러스터링 학습(LCO)에 기반한 전이 학습 프레임워크를 도입.
• 보조 레이블 데이터셋 A에서 어떤 쌍이 같은 카테고리에 속하는지 예측하는 유사성 예측 함수 G를 학습.
• KL-발산을 이용해 쌍궤적으로 유사/비유사 쌍과의 관계를 클러스터 할당 분포에 작용하는 제약 클러스터링 목표(LCO)로 형식화.
• 미니배치 내 쌍 조합을 열거하여 조밀한 쌍-기반 클러스터링 손실(CCN)을 구성.
• 출발지 유사 데이터에 대한 감독 분류 손실과 LCO를 결합하여 CCN을 확장하고, 도메인 적응 신호를 통합하면 CCN+ 및 CCN++을 도출.
• 성능 향상을 더하기 위해 기존의 도메인-차이 손실(DANN 등)과 선택적으로 결합.
• ResNet 백본을 사용하고 표준 클러스터링 기준과 비교하여 ImageNet 규모 태스크로의 확장성을 시연.

실험 결과

연구 질문

• RQ1 전이 가능한 쌍궤적 유사성(원시 특징이나 라벨이 아니라)이 비지도 설정에서 교차 태스크 및 교차 도메인 전이를 모두 지원할 수 있는가?
• RQ2 클러스터링 목표에 직접 사용될 때 예측된 유사 제약은 얼마나 강건한가?
• RQ3 학습된 유사 함수를 사용해 특징 표현과 클러스터링을 함께 최적화하는 것이 전통적 제약 클러스터링이나 순수 특징 기반 전이보다 우수한가?
• RQ4 표준 벤치마크(Open-31, SVHN–MNIST) 및 대규모 데이터셋(ImageNet)에서 LCO와 도메인적응 손실을 결합했을 때 성능 향상은 무엇인가?

주요 결과

• Omniglot에서 교차 태스크 전송에 대해 CCN은 최고 ACC/NMI 결과를 달성하며, K가 알려진 경우 82.4% ACC 및 0.889 NMI, K가 미확인인 경우(K=100) 78.1% ACC 및 0.874 NMI를 기록했다.
• ImageNet 평가에서 CCN은 K-means, LSC 및 LPNMF를 능가하며, K가 알려진 경우 73.8% ACC, K가 미확인인 경우 65.2%를 달성했다.
• Office-31의 비지도 교차 도메인 전송에서 CCN+은 평균 정확도 77.5%로 DANN(75.7%), JAN(76.9%)을 상회하고, CCN++에서 더 높은 78.5%를 기록했다.
• SVHN→MNIST에서(Omniglot를 보조 데이터로 사용) CCN+는 새로운 최고 성능 89.1%를 달성했다.
• 특성 표현과 학습된 유사성을 함께 최적화하는 CCN의 차단효과는 노이즈 있는 유사 예측에 대해 견고하고, 유사성만을 이용하는 거리 학습 방식보다 우수함이 확인되었다.
• 밀집한 쌍궤적 유사정보를 사용하면 유사성 예측이 불완전해도 클러스터링 강건성 및 전이 성능이 향상된다(유사 쌍에 대한 정밀도 약 0.39, 재현율 약 0.93).