[논문 리뷰] Unsupervised Semantic Aggregation and Deformable Template Matching for Semi-Supervised Learning

Tao Han, Junyu Gao외 2명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 비지도 학습을 통한 삼중체 상호정보 손실을 활용한 무 supervisory 의미 집약 기반으로 비라벨 데이터의 가짜 레이블을 생성하고, 라벨이 있는 데이터를 활용하여 동적 특징 풀을 사용한 변형 가능한 템플릿 매칭을 통해 이러한 레이블을 정교화하는 준지도 학습 프레임워크인 USADTM을 제안한다. 이 방법은 라벨이 40개 뿐인 CIFAR-10에서 최신 기술 수준의 정확도 90.46%를 달성한다.

ABSTRACT

Unlabeled data learning has attracted considerable attention recently. However, it is still elusive to extract the expected high-level semantic feature with mere unsupervised learning. In the meantime, semi-supervised learning (SSL) demonstrates a promising future in leveraging few samples. In this paper, we combine both to propose an Unsupervised Semantic Aggregation and Deformable Template Matching (USADTM) framework for SSL, which strives to improve the classification performance with few labeled data and then reduce the cost in data annotating. Specifically, unsupervised semantic aggregation based on Triplet Mutual Information (T-MI) loss is explored to generate semantic labels for unlabeled data. Then the semantic labels are aligned to the actual class by the supervision of labeled data. Furthermore, a feature pool that stores the labeled samples is dynamically updated to assign proxy labels for unlabeled data, which are used as targets for cross-entropy minimization. Extensive experiments and analysis across four standard semi-supervised learning benchmarks validate that USADTM achieves top performance (e.g., 90.46$\%$ accuracy on CIFAR-10 with 40 labels and 95.20$\%$ accuracy with 250 labels). The code is released at this https URL.

연구 동기 및 목표

• 라벨 데이터를 최소로 사용하여 준지도 학습 성능을 향상시켜 레이블링 비용을 절감하는 것.
• 비지도 방법을 사용하여 비라벨 데이터로부터 고수준 의미 특징을 추출하는 과제를 해결하는 것.
• 제한된 감독 정보를 활용하여 비라벨 데이터의 가짜 레이블 예측을 진짜 클래스 레이블과 정렬하는 것.
• 효과적인 프록시 레이블 할당을 위해 라벨된 샘플의 특징 풀을 동적으로 유지하는 것.

제안 방법

• 비라벨 데이터로부터 의미 있는 표현을 학습하기 위해 삼중체 상호정보(T-MI) 손실을 사용한 비지도 의미 집약이 수행된다.
• 집약된 의미 특징을 바탕으로 비라벨 샘플에 대한 가짜 레이블이 생성된다.
• 라벨된 샘플의 임bedding을 저장하는 동적 특징 풀이 존재하며, 반복적으로 업데이트되어 기준 템플릿으로 기능한다.
• 변형 가능한 템플릿 매칭을 통해 비라벨 데이터의 가짜 레이블이 특징 풀 내의 가장 유사한 프로토타입과 정렬된다.
• 정렬된 프록시 레이블을 타깃으로 하여 교차 엔트로피 최소화가 적용되어 모델 예측을 정교화한다.
• 비지도 표현 학습과 감독된 정교화를 통합하여 분류 정확도를 향상시키는 프레임워크가 구현된다.

실험 결과

연구 질문

• RQ1 T-MI 손실을 활용한 비지도 의미 집약이 준지도 학습에서 비라벨 데이터에 대해 고품질의 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ2 변형 가능한 템플릿 매칭을 통한 동적 특징 풀링이 레이블 정렬과 모델 일반화를 어떻게 향상시키는가?
• RQ3 제안된 방법은 얼마나 많은 라벨 예제가 필요한지를 줄일 수 있으며, 동시에 높은 정확도를 유지할 수 있는가?
• RQ4 비지도 및 감독 컴포넌트의 통합은 기존 준지도 학습 접근법과 비교해 어떻게 성능을 높이는가?

주요 결과

• USADTM는 라벨이 40개 뿐인 CIFAR-10에서 90.46%의 테스트 정확도를 달성하여 기존 방법들을 능가한다.
• 라벨이 250개일 경우, CIFAR-10에서 95.20%의 정확도를 기록하여 저샷 설정에서 뛰어난 성능을 보였다.
• 삼중체 상호정보 손실의 사용은 비라벨 데이터로부터 더 강력한 의미 표현 학습을 가능하게 한다.
• 변형 가능한 템플릿 매칭을 통한 동적 특징 풀링은 가짜 레이블의 품질 향상과 모델 수렴을 개선한다.
• 프레임워크는 네 가지 표준 벤치마크에서 상태최저 성능을 유지하면서도 레이블링 비용을 크게 절감한다.
• 제거 실험을 통해 전체 프레임워크에서 비지도 집약과 정교화 모듈의 효과성이 확인되었다.