[논문 리뷰] Clustering-Oriented Representation Learning with Attractive-Repulsive Loss

Kian Kenyon-Dean, Andre Cianflone외 4명|arXiv (Cornell University)|2018. 12. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 7

한 줄 요약

이 논문은 잠재 공간 내에서 자연스러운 클러스터러빌리티를 최적화하기 위해 코사인 또는 가우시안 유사도 함수를 사용하는 유인-반발 손실을 갖는 새로운 손실 프레임워크인 클러스터링 중심 표현 학습(COREL)을 제안한다. COREL의 변종은 분류 정확도에서 기존의 분류 교차 엔트로피(CCE)보다 뛰어나며, 특히 가우시안-COREL에서 두드러지게 성능 향상을 보이고, CCE보다 항상 더 자연스럽게 클러스터러블한 표현을 생성한다. 이는 주로 코사인-COREL을 통해 달성된다.

ABSTRACT

The standard loss function used to train neural network classifiers, categorical cross-entropy (CCE), seeks to maximize accuracy on the training data; building useful representations is not a necessary byproduct of this objective. In this work, we propose clustering-oriented representation learning (COREL) as an alternative to CCE in the context of a generalized attractive-repulsive loss framework. COREL has the consequence of building latent representations that collectively exhibit the quality of natural clustering within the latent space of the final hidden layer, according to a predefined similarity function. Despite being simple to implement, COREL variants outperform or perform equivalently to CCE in a variety of scenarios, including image and news article classification using both feed-forward and convolutional neural networks. Analysis of the latent spaces created with different similarity functions facilitates insights on the different use cases COREL variants can satisfy, where the Cosine-COREL variant makes a consistently clusterable latent space, while Gaussian-COREL consistently obtains better classification accuracy than CCE.

연구 동기 및 목표

• 딥 네ural 네트워크 학습을 순수한 정확도 최적화에서 잠재 공간 내 자연스러운 클러스터러블 표현을 구축하는 방향으로 전환하고자 한다.
• 최종 히든 레이어에서 구조적으로 의미 있는 클러스터 형태의 표현을 생성하지 못하는 CCE의 한계를 해결하고자 한다.
• 클러스터링 중심 학습을 위한 다수의 유사도 함수를 지원할 수 있는 일반화 가능한 손실 프레임워크인 유인-반발(AR) 손실을 제안하고자 한다.
• COREL 변종이 이미지 및 텍스트 분류 작업 전반에서 클러스터러빌리티와 분류 성능을 모두 향상시키는지 평가하고자 한다.
• COREL 표현이 간단한 클러스터링 알고리즘을 통해 최종 분류기 헤드에 의존하지 않고도 높은 정확도를 달성할 수 있음을 보여주고자 한다.

제안 방법

• 일반화된 프레임워크로써 유인-반발(AR) 손실을 제안하며, 이는 유사도 함수 s(h, w_k) 기반의 유인 및 반발 항으로 구성된다.
• AR 손실을 가중치 합으로 정의한다: L_AR = Σ[-λ·L_attract(h, w_y) + (1−λ)·L_repulse(h, W)] N개의 샘플에 대해.
• 두 가지 COREL 변종을 도입한다: 코사인 유사도를 사용하는 코사인-COREL과 음의 제곱 유클리드 거리를 유사도 함수로 사용하는 가우시안-COREL.
• 가우시안-COREL에서는 유사도 점수를 클래스 확률로 매핑하기 위해 소프트맥스 연산을 사용하지만, 코사인-COREL은 직접적으로 코사인 기반의 유인 최적화를 위해 소프트맥스를 회피한다.
• 분류기 헤드를 사용하지 않고도 자연스러운 클러스터러빌리티를 평가하기 위해 최종 레이어 표현에 표준 클러스터링 알고리즘(예: k-me안)을 적용한다.
• 이미지 및 텍스트 데이터셋에서 피드포워드 및 컨볼루션 네트워크를 사용해 모델을 훈련시키며, COREL 변종을 CCE 및 센터 손실과 비교한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크의 잠재 공간에서 자연스러운 클러스터러빌리티를 명시적으로 촉진하는 손실 함수를 설계할 수 있는가?
• RQ2 다른 유사도 함수(코사인 대비 가우시안)는 학습된 표현의 클러스터러빌리티와 분류 정확도에 어떤 영향을 미치는가?
• RQ3 COREL은 기존의 CCE 및 센터 손실보다 더 클러스터러블하고 더 정확한 표현을 생성하는가?
• RQ4 간단한 클러스터링 알고리즘이 COREL로 학습된 표현에 적용되었을 때, 최종 분류기 헤드를 생략하고도 높은 테스트 정확도를 달성할 수 있는가?
• RQ5 코사인-COREL의 클러스터러빌리티와 가우시안-COREL의 분류 정확도 사이의 상대적 트레이드오프는 어떠한가?

주요 결과

• 가우시안-COREL은 평가된 모든 이미지 및 텍스트 분류 작업에서 CCE 및 센터 손실보다 일관되게 높은 테스트 정확도를 달성한다.
• 코사인-COREL은 k-means 클러스터링 성능을 통해 CCE보다 항상 더 자연스럽게 클러스터러블한 잠재 표현을 생성한다.
• 코사인-COREL 모델의 최종 히든 레이어 표현에 k-means를 적용했을 때, 전체 분류기 헤드를 사용한 경우와 유사한 테스트 정확도를 달성한다.
• 코사인-COREL의 잠재 공간은 명시적인 클러스터링 감독 없이도 클래스 레이블에 해당하는 잘 정의된, 명확한 클러스터를 보여준다.
• 가우시안-COREL은 음의 제곱 유클리드 거리와 소프트맥스를 사용함으로써 CCE보다 더 우수한 분류 특징을 생성하며, 특히 복잡한 데이터셋에서 두드러진다.
• COREL 변종는 손실 함수 변경 외에 아키텍처 수정이 필요 없어, 다양한 모델 아키텍처에 쉽게 구현 가능하며 효과적이다.