[논문 리뷰] Learning Soft Labels via Meta Learning

Nidhi Vyas, Shreyas Saxena외 1명|arXiv (Cornell University)|2020. 09. 20.

Machine Learning and Data Classification참고 문헌 27인용 수 18

한 줄 요약

이 논문은 소프트 레이블을 학습 가능한 파라미터로 간주하고, 훈련 중에 동적으로 조정함으로써 일반화 성능을 향상시키고 노이즈가 있는 레이블을 수정하는 메타학습 프레임워크를 제안한다. 모델 파라미터와 함께 메타학습 목적함수를 사용해 레이블을 최적화함으로써, CIFAR100에서 ResNet18 기준 2.1%의 정확도 향상을 달성하며, 노이즈가 있는 데이터 설정에서도 기존 방법들을 능가한다.

ABSTRACT

One-hot labels do not represent soft decision boundaries among concepts, and hence, models trained on them are prone to overfitting. Using soft labels as targets provide regularization, but different soft labels might be optimal at different stages of optimization. Also, training with fixed labels in the presence of noisy annotations leads to worse generalization. To address these limitations, we propose a framework, where we treat the labels as learnable parameters, and optimize them along with model parameters. The learned labels continuously adapt themselves to the model's state, thereby providing dynamic regularization. When applied to the task of supervised image-classification, our method leads to consistent gains across different datasets and architectures. For instance, dynamically learned labels improve ResNet18 by 2.1% on CIFAR100. When applied to dataset containing noisy labels, the learned labels correct the annotation mistakes, and improves over state-of-the-art by a significant margin. Finally, we show that learned labels capture semantic relationship between classes, and thereby improve teacher models for the downstream task of distillation.

연구 동기 및 목표

• 고정된 one-hot 레이블의 한계를 해결하여 딱딱한 결정 경계와 열악한 일반화 성능을 초래하는 문제를 해결한다.
• 정적 소프트 레이블(예: 레이블 스무딩)의 비최적화된 정규화를 극복하기 위해 훈련 중 동적으로 적응 가능한 레이블을 제공한다.
• 인간의 간섭 없이 데이터셋 내 노이즈가 있는 레이블을 수정함으로써 실세계 데이터 환경에서의 강건성을 향상시킨다.
• 세분화된 소프트 레이블을 학습시켜 지식 증류 성능을 향상시킴으로써 교사 모델 성능을 개선한다.
• 모델 파라미터와 레이블을 동시에 최적화함으로써 청소된 데이터와 노이즈가 있는 데이터 환경 모두에서 효과적으로 작동하는 통합 프레임워크를 개발한다.

제안 방법

• 모델 가중치와 함께 경사하강법을 통해 최적화할 수 있는 미분 가능한 파라미터로 클래스 수준 및 인스턴스 수준의 레이블을 취급한다.
• 메타학습 목적함수를 사용: 검증 세트에서 모델 성능을 최대화하도록 레이블을 업데이트함으로써 모델 상태와의 일치를 확보한다.
• 클래스 수준의 레이블에 대해, 각 클래스별로 인스턴스 특화의 스무딩 파라미터 αᵏᵗ를 적용하여 소프트 레이블 분포를 조정하며, pᵢ,ₖᵗ = 1−αᵧᵢᵗ (타겟 클래스) 및 αᵧᵢᵗ/(c−1) (기타 클래스)로 설정한다.
• 인스턴스 수준의 레이블에 대해, 동일한 메타최적화 전략을 사용해 각 데이터 포인트별 고유의 소프트 레이블을 학습함으로써 인스턴스 특화 정규화를 가능하게 한다.
• 암시적 미분을 사용해 레이블 최적화 과정을 역전파함으로써, 모델 및 레이블 파라미터 모두에 대한 엔드 투 엔드 훈련을 가능하게 한다.
• 최적화 이력의 정보를 활용해 안정적인 레이블 업데이트를 유지함으로써, 번갈아가며 레이블과 모델을 훈련할 때 흔히 발생하는 열악한 해를 방지한다.

실험 결과

연구 질문

• RQ1 고정된 레이블 스무딩을 초월해, 훈련 중에 소프트 레이블을 동적으로 최적화함으로써 일반화 성능을 향상시킬 수 있는가?
• RQ2 보조 모델이나 히우리스틱 기반 기법 없이도, 메타학습 프레임워크가 노이즈가 있는 데이터셋 내 잘못된 레이블 예제를 효과적으로 수정할 수 있는가?
• RQ3 동적으로 학습된 소프트 레이블은 클래스 간의 의미적 관계를 포착하여 지식 증류 성능을 향상시키는가?
• RQ4 레이블과 모델 파라미터를 함께 최적화하는 방식이, 다양한 노이즈 수준에서 최신 기술 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 학습된 소프트 레이블이 교사 네트워크가 필요 없이 다른 모델에 더 나은 교사 신호를 직접 전달함으로써 지식 증류의 직접적인 대체 수 Mittel이 될 수 있는가?

주요 결과

• 기본 one-hot 레이블을 사용한 표준 훈련 대비 ResNet18의 CIFAR100 정확도가 2.1% 향상된다.
• 40% 균일 노이즈가 있는 CIFAR100에서, WRN28-10 기준 테스트 정확도 76.9±0.3%를 기록하며, MentorNet DD 및 L2RW와 같은 최신 기법들을 능가한다.
• 학습된 인스턴스 수준의 소프트 레이블은 노이즈가 있는 데이터셋 내 레이블 오류를 수정하며, 베이스라인 대비 일반화 성능을 크게 향상시킨다.
• 메타학습을 통해 학습된 소프트 레이블은 클래스 간 의미적 관계를 포착하여 지식 증류에서 더 나은 성능을 이끈다.
• 청소된 데이터와 노이즈가 있는 데이터 환경 모두에서 기존 방법들을 능가하며, 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보인다.
• 지식 증류와 경쟁 가능한 성능을 달성하며, 소프트 레이블이 교사 네트워크 없이도 다른 모델에 직접 전이 가능하므로, 직접적인 대체 수 Mittel로 기능한다.