[논문 리뷰] Repetitive Reprediction Deep Decipher for Semi-Supervised Learning

Guohua Wang, Jianxin Wu|arXiv (Cornell University)|2019. 08. 09.

Machine Learning and Data Classification참고 문헌 21인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망 예측을 허위 레이블로 사용하는 것에 대한 이론적 근거를 제공하는 새로운 엔드 투 엔드 준지도 학습 프레임워크인 R2-D2를 제안한다. 지수적 연결 함수를 통해 이를 이론적으로 정당화하며, 반복적 재예측(R2)을 도입하여 허위 레이블의 평탄함을 완화함으로써 기존 방법에 비해 ImageNet의 Top-1 오차를 5% 감소시켜 최신 기준 성능을 달성한다.

ABSTRACT

Most recent semi-supervised deep learning (deep SSL) methods used a similar paradigm: use network predictions to update pseudo-labels and use pseudo-labels to update network parameters iteratively. However, they lack theoretical support and cannot explain why predictions are good candidates for pseudo-labels. In this paper, we propose a principled end-to-end framework named deep decipher (D2) for SSL. Within the D2 framework, we prove that pseudo-labels are related to network predictions by an exponential link function, which gives a theoretical support for using predictions as pseudo-labels. Furthermore, we demonstrate that updating pseudo-labels by network predictions will make them uncertain. To mitigate this problem, we propose a training strategy called repetitive reprediction (R2). Finally, the proposed R2-D2 method is tested on the large-scale ImageNet dataset and outperforms state-of-the-art methods by 5 percentage points.

연구 동기 및 목표

• 준지도 학습에서 깊이 있는 신경망 예측을 허위 레이블로 사용하는 데에 이론적 근거가 부족한 문제를 해결하기 위해.
• 백프로파게이션을 통해 네트워크 파라미터와 허위 레이블을 동시에 최적화하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 훈련 중에 허위 레이블이 평탄해지면서 엔트로피가 높아지는 문제를 특정하고 이를 해결하기 위해.
• 특히 ImageNet과 같은 대규모 데이터셋에서 준지도 학습 벤치마크 성능을 향상시키기 위해.

제안 방법

• 허위 레이블을 백프로파게이션을 통해 업데이트할 수 있는 학습 가능한 변수로 간주하는 엔드 투 엔드 프레임워크인 Deep Decipher (D2)를 제안한다.
• 허위 레이블이 네트워크 예측과 지수적 관계가 있음을 이론적으로 증명하여, 예측을 허위 레이블로 사용하는 데에 체계적인 근거를 제공한다.
• 최적화 과정에서 허위 레이블의 평탄함을 완화하기 위해 반복적 재예측(R2) 전략을 도입한다.
• 레이블 확률 분포를 허위 레이블로 사용하여 네트워크 가중치와 허위 레이블을 함께 최적화할 수 있도록 한다.
• 네트워크 파라미터와 허위 레이블에 대한 최대우도추정법 설정을 통해 D2 최적화 목표를 정의한다.
• 훈련 중에 비라벨 데이터 샘플을 반복적으로 재예측함으로써 R2 전략을 적용하여 허위 레이블의 안정성과 날카움을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 깊이 있는 신경망 예측이 준지도 학습에서 허위 레이블로 타당한 선택인가?
• RQ2 허위 레이블을 수동 설정하거나 히우리스틱 평균화 방식이 아닌, 백프로파게이션을 통해 엔드 투 엔드로 학습시킬 수 있는가?
• RQ3 훈련 중에 허위 레이블 품질이 열악해지는 원인은 무엇이며, 이를 어떻게 수정할 수 있는가?
• RQ4 적응형 허위 레이블을 갖는 이론적으로 타당한 프레임워크는 기존 최신 준지도 학습 방법을 능가할 수 있는가?

주요 결과

• 1%의 라벨 데이터를 가진 ImageNet에서 R2-D2는 이전 최신 기준 대비 Top-1 오차율을 5% 낮춘다.
• 4,000개의 라벨 데이터를 가진 CIFAR-10에서 R2-D2는 테스트 오차율 5.72%를 기록하여 Mean Teacher와 HybridNet을 능가한다.
• 10,000개의 라벨 데이터를 가진 CIFAR-100에서 R2-D2는 오차율 32.87%를 기록하여 Temporal Ensembling, Mean Teacher, DCT를 초월한다.
• 1,000개의 라벨 데이터를 가진 SVHN에서 R2-D2는 오차율 3.64%를 기록하여 Temporal Ensembling과 Mean Teacher를 능가한다.
• 이론적 분석을 통해 훈련 중에 허위 레이블이 평탄해지며 엔트로피가 증가함을 확인하였고, R2가 이를 효과적으로 완화함을 입증하였다.
• D2 프레임워크는 지수적 관계를 통해 예측을 허위 레이블로 사용하는 데에 이론적 설명을 제공하며, 이는 이전의 경험적 실천을 정당화한다.