[논문 리뷰] Semi-Supervised Learning via Compact Latent Space Clustering

Konstantinos Kamnitsas, Daniel C. Castro외 7명|ArXiv.org|2018. 06. 07.

Domain Adaptation and Few-Shot Learning인용 수 42

한 줄 요약

은 동적 그래프 구성과 라벨 전파를 사용하여 잠재 공간에서 클래스별로 컴팩트한 클러스터를 형성함으로써 신경망을 정규화하는 반지도학습 방법을 소개한다.

ABSTRACT

We present a novel cost function for semi-supervised learning of neural networks that encourages compact clustering of the latent space to facilitate separation. The key idea is to dynamically create a graph over embeddings of labeled and unlabeled samples of a training batch to capture underlying structure in feature space, and use label propagation to estimate its high and low density regions. We then devise a cost function based on Markov chains on the graph that regularizes the latent space to form a single compact cluster per class, while avoiding to disturb existing clusters during optimization. We evaluate our approach on three benchmarks and compare to state-of-the art with promising results. Our approach combines the benefits of graph-based regularization with efficient, inductive inference, does not require modifications to a network architecture, and can thus be easily applied to existing networks to enable an effective use of unlabeled data.

연구 동기 및 목표

• 클래스의 모든 샘플이 잠재 공간에서 하나의 컴팩트한 클러스터를 형성하도록 강제함으로써 클러스터 가정을 동기화하고 활용한다.
• 학습 중에 레이블이 있는 샘플과 레이블이 없는 샘플의 배치 임베딩이 진화하는 구조를 포착하는 그래프 기반 메커니즘을 개발한다.
• 레이블 전파를 사용하여 잠재 공간에서 고밀도/저밀도 영역을 추정하고 네트워크 아키텍처를 수정하지 않으면서 잠재 표현을 정규화한다.
• 비레이블 데이터 활용 및 표준 감독 학습을 보완하는 효율적이고 귀납적인 SSL 정규화를 제공한다.

제안 방법

• 각 SGD 반복에서 레이블이 있는 샘플과 레이블이 없는 샘플의 임베딩을 사용하여 네트워크의 잠재 공간에 완전 연결 그래프를 동적으로 구성한다.
• 이 그래프에서 라벨 전파를 적용하여 잠재 공간에서 클래스 확률(포스터리어)을 추정하고 데이터 매니폴드 구조를 포착한다.
• 그래프의 마코프 체인에 기반한 정규화항(CCLP)을 정의하여 각 클래스당 하나의 컴팩트한 클러스터를 촉진하되 기존의 고밀도 영역을 보존한다.
• 다중 스텝 s=1,...,S에 대해 H(전이 행렬)가 T와 일치하도록 교차 엔트로피 목표를 통해 유도한다.
• L_total = supervised loss + w * L_CCLP 로 정의된 결합 손실로 학습하며, L_CCLP는 길이가 다양한 경로를 모델링하기 위해 S 스텝에 걸쳐 집계된다.

실험 결과

연구 질문

• RQ1 레이블 전파를 통한 컴팩트 클러스터링(CCLP)이 표준 벤치마크에서 제한된 라벨 데이터로 SSL의 분류 성능을 향상시키는가?
• RQ2 마코프 체인 스텝 수 S가 컴팩트한 클러스터 형성 및 다운스트림 정확도에 어떤 영향을 미치는가?
• RQ3 모든 레이블이 사용 가능한 경우 제안된 잠재 공간 정규화기가 완전 감독 학습을 보완하고 향상시킬 수 있는가?
• RQ4 생성 모델 또는 섭동 기반 정규화기에 의존하는 최신 SSL 방법들과 CCLP는 어떻게 비교되는가?

주요 결과

• CCLP는 제한된 라벨 데이터 환경에서 MNIST, SVHN, CIFAR-10에서 여러 동시대 SSL 방법들과 비교하여 성능을 향상시킨다.
• 정규화 항은 전체 라벨 세트가 사용될 때에도 일관된 이득을 제공하여 완전 감독 시스템에도 도움이 됨을 시사한다.
• 더 많은 LP 스텝(S)을 사용하면 일반적으로 전역 구조를 촉진하여 성능이 향상되지만, 스텝이 너무 적으면 클러스터링이 악화될 수 있다.
• CCLP는 구현이 간단하고 추가 네트워크 구성 요소(GANs나 VAEs 등)가 필요하지 않으며, 기존 아키텍처에 잠재 공간 규제자로 적용할 수 있다.
• CCLP의 그래디언트 신호는 잠재 공간 기하학에 의해 주도되며 분류기 경계와는 대부분 독립적이어서 일부 엔트로피 기반 정규화기와 비교해 확증 편향 위험을 줄인다.