[논문 리뷰] Local Label Propagation for Large-Scale Semi-Supervised Learning

Chengxu Zhuang, Xuehao Ding외 2명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 7

한 줄 요약

이 논문은 로컬 레이블 전파(Local Label Propagation, LLP)를 제안하며, 라벨된 데이터와 라벨이 없는 데이터를 공유 잠재 공간에 매핑하는 딥 네ural 네트워크를 훈련시켜, 국소 기하학적 구조를 기반으로 가짜 레이블을 전파하는 확장 가능한 준지도 학습 방법이다. 이 과정에서 거리와 국소 밀도를 우선시하여 전파를 수행하며, 분류 정확도와 클러스터 밀도를 동시에 최적화한다. LLP는 다양한 훈련 환경에서 ImageNet에서 최고 성능을 기록하며, Places205에서의 전이 학습에도 잘 일반화된다.

ABSTRACT

A significant issue in training deep neural networks to solve supervised learning tasks is the need for large numbers of labelled datapoints. The goal of semi-supervised learning is to leverage ubiquitous unlabelled data, together with small quantities of labelled data, to achieve high task performance. Though substantial recent progress has been made in developing semi-supervised algorithms that are effective for comparatively small datasets, many of these techniques do not scale readily to the large (unlaballed) datasets characteristic of real-world applications. In this paper we introduce a novel approach to scalable semi-supervised learning, called Local Label Propagation (LLP). Extending ideas from recent work on unsupervised embedding learning, LLP first embeds datapoints, labelled and otherwise, in a common latent space using a deep neural network. It then propagates pseudolabels from known to unknown datapoints in a manner that depends on the local geometry of the embedding, taking into account both inter-point distance and local data density as a weighting on propagation likelihood. The parameters of the deep embedding are then trained to simultaneously maximize pseudolabel categorization performance as well as a metric of the clustering of datapoints within each psuedo-label group, iteratively alternating stages of network training and label propagation. We illustrate the utility of the LLP method on the ImageNet dataset, achieving results that outperform previous state-of-the-art scalable semi-supervised learning algorithms by large margins, consistently across a wide variety of training regimes. We also show that the feature representation learned with LLP transfers well to scene recognition in the Places 205 dataset.

연구 동기 및 목표

• 대규모 데이터셋에서 전역 유사도 계산에 의존하는 기존 준지도 학습 방법의 확장성 한계를 해결한다.
• ImageNet과 같은 대규모 학습 환경에서 희소한 라벨 데이터와 풍부한 라벨이 없는 데이터를 효과적으로 활용할 수 있는 방법을 개발한다.
• 임베딩 공간에서 가짜 레이블 데이터의 분류 성능와 클러스터 밀도를 동시에 최적화하여 표현 학습을 향상시킨다.
• 객체 분류를 초월하여 시나리오 인식과 같은 후행 작업으로의 강력한 전이 가능성(transferability)을 보장한다.

제안 방법

• 라벨된 데이터와 라벨이 없는 데이터를 모두 공유된 저차원 잠재 공간에 매핑하는 딥 네ural 네트워크를 훈련시킨다.
• 점 간의 거리와 국소 데이터 밀도에 따라 가까운 이웃 기반으로 알려진 레이블을 알려지지 않은 예측으로 전파한다.
• 국소 밀도에 가중치를 부여한 확률 모델을 사용하여 전파 가능성의 가중치를 조절하며, 라벨 밀도가 높은 영역을 우선시한다.
• 이중 목적 함수를 통해 네트워크를 최적화한다: (1) 가짜 레이블에 대한 교차 엔트로피 손실(진짜 레이블에 더 높은 가중치를 부여함), (2) 동일한 가짜 레이블을 가진 점들이 임베딩 공간에서 서로 가까이 모이도록 유도하는 클러스터링 손실.
• 레이블 전파와 네트워크 훈련을 반복적으로 번갈아 수행하여 표현과 가짜 레이블 할당을 동시에 개선한다.
• 효율적인 평가를 위해 특징의 메모리 백과 최근접 이웃 추론을 사용한다.

실험 결과

연구 질문

• RQ1 학습된 임베딩 공간 내 국소 기하학적 구조를 효과적으로 활용하여 ImageNet과 같은 대규모 데이터셋으로의 레이블 전파를 확장할 수 있는가?
• RQ2 전역 유사도 기반 방법과 비교했을 때 국소 밀도를 레이블 전파에 통합함으로써 성능 향상이 이루어지는가?
• RQ3 분류와 클러스터링 목표를 함께 최적화함으로써 표현 품질과 후행 작업 정확도가 얼마나 향상되는가?
• RQ4 LLP로 훈련된 특징이 객체 분류를 초월해 시나리오 인식과 같은 전이 학습 작업으로 잘 일반화되는가?

주요 결과

• LLP는 라벨 수가 매우 적은 설정을 포함해 모든 테스트된 훈련 환경에서 ImageNet에서 최고 성능을 기록한다.
• 이전의 확장 가능한 준지도 학습 알고리즘들, 즉 [29, 18, 24, 16, 6, 22]에서 제안된 방법들보다 이미지넷에서 뚜렷한 성능 향상을 보인다.
• LLP 특징은 Places205 데이터셋으로 전이 학습에 효과적으로 활용되며, 시나리오 인식 성능을 향상시킨다.
• 제거 실험 결과, 국소 이웃 선택(K), 신뢰도 가중치, 병합 손실, 밀도 가중 전파 방식이 모두 성능 향상에 핵심적임을 확인한다.
• 원래 애너테이션에 포함되지 않은 라벨 없이도, 다중 모달리티 카테고리(예: '라브라도'가 '검은색'과 '노란색' 하위 유형으로 분리되는 등)에서 의미 있는 하위 클러스터를 학습된 임베딩이 포착한다.
• 작은 서브셋(50개 카테고리, 카테고리당 50장의 이미지)에서도 강력한 성능 유지를 보이며, 전역 전파 방법과의 경쟁력이 있음을 확인한다.