[논문 리뷰] Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning

Lang Huang, Chao Zhang외 1명|arXiv (Cornell University)|2021. 01. 21.

Machine Learning and Data Classification참고 문헌 83인용 수 6

한 줄 요약

이 논문은 추가 계산 없이 모델 예측을 적응형 감독 신호로 활용함으로써 동적으로 모델 훈련을 향상시키는 자가적응 훈련을 제안한다. 이는 레이블 노이즈 하에서 일반화 성능을 향상시키고, 자기지도 학습 표현 학습을 강화하여 CIFAR, STL, ImageNet 데이터셋에서 노이즈 있는 분류, 선택적 분류, 선형 평가에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose self-adaptive training -- a unified training algorithm that dynamically calibrates and enhances training processes by model predictions without incurring an extra computational cost -- to advance both supervised and self-supervised learning of deep neural networks. We analyze the training dynamics of deep networks on training data that are corrupted by, e.g., random noise and adversarial examples. Our analysis shows that model predictions are able to magnify useful underlying information in data and this phenomenon occurs broadly even in the absence of any label information, highlighting that model predictions could substantially benefit the training processes: self-adaptive training improves the generalization of deep networks under noise and enhances the self-supervised representation learning. The analysis also sheds light on understanding deep learning, e.g., a potential explanation of the recently-discovered double-descent phenomenon in empirical risk minimization and the collapsing issue of the state-of-the-art self-supervised learning algorithms. Experiments on the CIFAR, STL, and ImageNet datasets verify the effectiveness of our approach in three applications: classification with label noise, selective classification, and linear evaluation. To facilitate future research, the code has been made publicly available at https://github.com/LayneH/self-adaptive-training.

연구 동기 및 목표

• 데이터 손상, 예를 들어 레이블 노이즈와 적대적 예외가 존재할 때 딥 네ural 네트워크의 일반화 성능이 열 劣하는 문제를 해결한다.
• 모델 예측이 지도 학습과 자기지도 학습 양 측면에서 훈련 동역학을 향상시키는 데 универс적 신호로 기능할 수 있는지 조사한다.
• 최적화 과정에 동적으로 예측을 통합함으로써 지도 학습과 자기지도 학습을 융합하는 통합 훈련 알고리즘을 개발한다.
• 다중 시각 증강 또는 반복적 자기 훈련을 요구하는 기존 방법의 한계를 극복하여 높은 계산 비용을 피한다.
• 기존의 강건성 및 자기지도 학습 접근 방식에 비해 이론적으로 탄탄하고 계산적으로 효율적인 대안을 제공한다.

제안 방법

• 모델 예측의 지수 이동 평균을 사용하여 훈련을 위한 소프트 레이블을 생성하는 자기적응 훈련 알고리즘을 도입한다.
• 예측 신뢰도에 따라 샘플을 동적으로 재가중하여 최적화 과정에서 노이즈 또는 잘못된 예측의 영향을 줄인다.
• 실제 레이블이 없는 경우 모델 예측을 의사 레이블로 간주하여 지도 학습 및 자기지도 학습 설정 모두에 이 방법을 적용한다.
• 아키텍처 수정 없이 표준 네트워크 아키텍처와 손실 함수(예: 교차 엔트로피)와 호환성을 유지한다.
• 훈련 단계당 한 번의 전방향 계산만을 사용하여 표준 훈련을 초과하는 추가 계산 비용이 없다.
• 동일한 예측 기반 감독을 균일하게 적용함으로써 이 방법이 레이블 노이즈 및 자기지도 학습 환경 모두에서 기능하도록 한다.

(a) Accuracy curves of the model trained by ERM.

실험 결과

연구 질문

• RQ1 레이블이 손상되거나 존재하지 않을 때도 모델 예측이 데이터 내 유용한 기저 정보를 증폭시킬 수 있는가?
• RQ2 훈련에 모델 예측을 통합함으로써 레이블 노이즈 하에서 딥 네트워크의 일반화 성능이 향상되는가?
• RQ3 통합 훈련 알고리즘이 지도 학습과 자기지도 학습 패러다임을 효과적으로 융합할 수 있는가?
• RQ4 기존의 강건 학습 및 자기지도 학습 방법과 비교할 때 자기적응 훈련의 성능 및 효율성은 어떠한가?
• RQ5 자기적응 훈련은 자기지도 학습에서 관찰되는 이중 내림표현 현상과 붕괴 문제를 완화하는가?

주요 결과

• 표준 ERM 훈련 대비 CIFAR-10에서 40%의 레이블 노이즈 조건에서 검증 정확도가 10퍼센트 이상 향상된다.
• 이 방법은 표준 ERM에서 관찰되는 이중 내림표현 행동과 대조적으로 단일 내림표현 오차-용량 곡선을 보이며, 더 나은 일반화 동역학을 시사한다.
• ImageNet에서 선형 평가 프로토콜을 통해 자기적응 훈련은 자기지도 학습 표현 학습 성능을 크게 향상시킨다.
• 선택적 분류 및 노이즈 있는 레이블 학습에서 기존 방법을 능가하여 다양한 데이터 손상 유형에 대한 강건성을 입증한다.
• 실험 결과, 실제 레이블 없이도 모델 예측만으로도 효과적인 학습이 가능함을 보여주며, 핵심 가설인 예측에 정보를 정제하는 데 성공한다.
• 이 방법은 추가 계산 비용이 없으며 표준 훈련 파ipeline과 호환되어 넓은 적용 가능성을 확보한다.

(b) Accuracy curves of the model trained by our method.