[논문 리뷰] Semi-supervised deep learning by metric embedding

Elad Hoffer, Nir Ailon|arXiv (Cornell University)|2017. 02. 11.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 제한된 레이블 데이터를 바탕으로 일반화 성능을 향상시키기 위해 메트릭 임bedding를 사용하는 준지도 학습 딥러닝 방법을 제안한다. 레이블이 부여된 샘플과 비레이블 데이터에 대한 거리 제약 조건을 통해 분류 가능한 유클리드 임베딩을 학습함으로써, 최근접 이웃 분류와 함께 강력한 성능을 달성하였으며, 저샷 베이스라인보다 표준 지도 학습 및 자기지도 학습 기반 모델을 능가한다.

ABSTRACT

Deep networks are successfully used as classification models yielding state-of-the-art results when trained on a large number of labeled samples. These models, however, are usually much less suited for semi-supervised problems because of their tendency to overfit easily when trained on small amounts of data. In this work we will explore a new training objective that is targeting a semi-supervised regime with only a small subset of labeled data. This criterion is based on a deep metric embedding over distance relations within the set of labeled samples, together with constraints over the embeddings of the unlabeled set. The final learned representations are discriminative in euclidean space, and hence can be used with subsequent nearest-neighbor classification using the labeled samples.

연구 동기 및 목표

• 준지도 학습 환경에서 소규모 레이블 데이터셋으로 훈련할 때 딥 네트워크의 과적합 문제를 해결하기 위해.
• 메트릭 학습을 통해 레이블이 부여된 데이터와 비레이블 데이터를 모두 활용하는 훈련 목표를 개발하기 위해.
• 근접한 최근접 이웃 분류에 효과적으로 기여할 수 있는 유클리드 공간 내에서 분류 가능한 표현을 학습하기 위해.
• 광범위한 초모수 튜닝 없이도 자원이 제한된 준지도 학습 베이스라인에서의 성능을 향상시키기 위해.

제안 방법

• 이 방법은 레이블이 부여된 샘플 간의 상대적 거리 관계를 임베딩 공간에서 강제하기 위해 딥 메트릭 임베딩을 활용한다.
• 비레이블 샘플의 임베딩에 제약 조건을 도입하여 국소적 구조를 유지하고 레이블이 부여된 데이터와의 일관성을 확보한다.
• 레이블이 부여된 쌍에 대한 메트릭 학습과 비레이블 샘플에 대한 정규화를 결합한 손실 함수를 통해 조밀하고 분리 가능한 클러스터를 장려한다.
• 최종 표현은 확률적 경사 하강법을 사용해 엔드 투 엔드로 최적화되며, 이는 k-NN 분류와 직접적으로 사용 가능하게 한다.
• 강력한 데이터 증강이나 대비 사전학습에 의존하지 않고, 대신 내재된 거리 관계에 중점을 둔다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 샘플에 대한 메트릭 학습이 저샷 준지도 학습에서 일반화 성능을 향상시키는가?
• RQ2 비레이블 데이터에 대한 거리 제약 조건이 학습된 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 제한된 레이블링 조건에서 표준 지도 학습 및 자기지도 학습 기반 모델을 능가하는가?
• RQ4 학습된 임베딩이 준지도 환경에서 효과적인 k-NN 분류를 얼마나 잘 지원하는가?

주요 결과

• 이 방법은 소수의 레이블 데이터만을 사용하여 여러 저샷 준지도 학습 베이스라인에서 최상의 성능을 달성한다.
• 모델은 레이블 부족에 대해 강건성을 보이며, CIFAR-10과 STL-10에서 표준 지도 학습 및 자기지도 학습 기반 모델을 능가한다.
• 레이블이 부여된 데이터에 대한 메트릭 제약 조건의 사용이 유클리드 공간 내에서 임베딩의 분류 가능성을 크게 향상시킨다.
• 학습된 임베딩을 사용한 최근접 이웃 분류가 높은 정확도를 기록하여 표현 학습의 효과성을 입증한다.