[논문 리뷰] Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning

Phi Vu Tran|arXiv (Cornell University)|2019. 06. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 10

한 줄 요약

이 논문은 자기지도 학습 정규화를 기하 변환 예측(회전 및 뒤집기)을 통해 감독 및 준감독 이미지 분류에 통합한 다중 작업 CNN 프레임워크인 SESEMI를 제안한다. 라벨이 부여된 데이터와 비라벨 데이터로부터 생성된 대체 라벨을 함께 학습함으로써, 추가 하이퍼파ram터나 사전 훈련 없이 SVHN, CIFAR-10, CIFAR-100에서 최신 기준 성능을 달성하며, 준감독 설정에서는 일관성 정규화 기반 모델들을 능가하고, 비라벨 데이터 없이도 감독 학습 정확도를 향상시킨다.

ABSTRACT

Recent advances in semi-supervised learning have shown tremendous potential in overcoming a major barrier to the success of modern machine learning algorithms: access to vast amounts of human-labeled training data. Previous algorithms based on consistency regularization can harness the abundance of unlabeled data to produce impressive results on a number of semi-supervised benchmarks, approaching the performance of strong supervised baselines using only a fraction of the available labeled data. In this work, we challenge the long-standing success of consistency regularization by introducing self-supervised regularization as the basis for combining semantic feature representations from unlabeled data. We perform extensive comparative experiments to demonstrate the effectiveness of self-supervised regularization for supervised and semi-supervised image classification on SVHN, CIFAR-10, and CIFAR-100 benchmark datasets. We present two main results: (1) models augmented with self-supervised regularization significantly improve upon traditional supervised classifiers without the need for unlabeled data; (2) together with unlabeled data, our models yield semi-supervised performance competitive with, and in many cases exceeding, prior state-of-the-art consistency baselines. Lastly, our models have the practical utility of being efficiently trained end-to-end and require no additional hyper-parameters to tune for optimal performance beyond the standard set for training neural networks. Reference code and data are available at https://github.com/vuptran/sesemi

연구 동기 및 목표

• 자기지도 정규화와 감독 학습을 융합하여 저라벨 환경에서 일반화 성능을 향상시키는 것.
• 준감독 학습에서 일관성 정규화의 지배적 위치를 도전하기 위해 더 단순하고 종단간(end-to-end) 대체 방법을 제안하는 것.
• 기하 변환에서 유도된 대체 라벨이 재구성 기반 자기지도 학습보다 분류 작업에 더 효과적인지 입증하는 것.
• 추가 하이퍼파ram터나 사전 훈련 단계 없이 최신 기준 성능을 달성하는 것.
• 실제 데이터 부족 환경에서의 구현 가능하고 효율적이며 확장 가능한 방법을 제공하는 것.

제안 방법

• 모델은 주 분류 헤드와 동일한 입력 이미지의 기하 변환(회전 및 뒤집기)을 예측하는 자기지도 브랜치를 포함하는 다중 작업 아키텍처를 사용한다.
• 각 입력 이미지에 대해 자기지도 브랜치는 여섯 개의 대체 라벨을 생성한다: 0°, 90°, 180°, 270°의 회전과 수평 및 수직 뒤집기.
• 전체 손실은 라벨이 부여된 데이터에 대한 표준 교차 엔트로피 손실과 비라벨 데이터에 대한 자기지도 변환 예측에 대한 교차 엔트로피 손실을 조합한다.
• 표준 최적화 프로토콜을 사용하여 종단간으로 훈련되며, 표준 훈련 설정 외에 추가 하이퍼파ram터가 없이 수행된다.
• 기존 SSL 프레임워크와 호환되며, Mean Teacher나 MixMatch와 같은 모델에 일관성 헤드의 대체로 통합될 수 있다.
• 자기지도 작업은 이미지 기하학적 불변성을 활용하여 분리되고 의미 있는 특징을 학습하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 기하 변환 예측을 통한 자기지도 정규화가 준감독 이미지 분류에서 전통적인 일관성 정규화를 능가할 수 있는가?
• RQ2 비라벨 데이터가 없을 경우에도 자기지도 정규화가 감독 학습 성능을 향상시키는가?
• RQ3 재구성, 메시킹, 색상화와 비교해 기하 변환 예측이 준감독 학습에서 더 효과적인 대체 라벨 작업인가?
• RQ4 기존 SSL 프레임워크에 자기지도 정규화를 통합할 수 있으며, 모델 복잡성이나 하이퍼파ram터 조정을 증가시키지 않는가?
• RQ5 특히 간섭 요소가 존재할 경우, 저데이터 환경에서 자기지도 신호와 감독 신호가 어떻게 상호작용하는가?

주요 결과

• SESEMI는 추가 하이퍼파ram터가 필요 없이 SVHN, CIFAR-10, CIFAR-100에서 감독 및 준감독 설정 모두에서 최신 기준 성능을 달성한다.
• CIFAR-10에서 회전과 뒤집기 예측을 조합한 결과, 단순 회전 예측보다 8.2% 향상되었으며, 재구성, 메시킹, 색상화 작업을 모두 능가한다.
• 비라벨 데이터 없이도 감독 정확도가 크게 향상되어, 자기지도 정규화가 정규화 요소로서의 가치를 입증한다.
• 준감독 학습에서 SESEMI는 여러 벤치마크에서 이전의 일관성 기반 기반 모델을 초월했으며, 라벨이 250개 뿐인 CIFAR-100에서도 뛰어난 성능을 보였다.
• 자기지도 브랜치는 모델이 주요이고 클래스 관련 특징을 학습할 때 가장 효과적이지만, SVHN에서는 간섭 요소로 간주되는 숫자들이 변환 예측에 영향을 주어 성능 저하가 발생한다.
• 이 방법은 종단간으로 훈련 가능하며, Mean Teacher나 MixMatch와 같은 기존 SSL 프레임워크와 호환되어 통합 가능하며, 향후 성능 향상 가능성도 시사한다.