[논문 리뷰] Improved Regularization and Robustness for Fine-tuning in Neural Networks

Dongyue Li, Hongyang R. Zhang|arXiv (Cornell University)|2021. 11. 08.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 층별 가중치 정규화와 동적 레이블 보정을 결합한 정규화된 자기 레이블링 방법인 RegSL을 제안한다. 이는 피니테이닝의 강건성과 일반화 능력을 향상시킨다. 각 층의 가중치 업데이트를 제약하고 모델 예측을 이용해 잘못 레이블링된 예시를 보정함으로써, RegSL은 과적합과 기억 현상을 줄이며, 이미지 작업에서 기준 모델 대비 평균 1.76%의 정확도 향상을, 노이즈가 있는 데이터 세트에서는 3.56% 향상을 달성한다.

ABSTRACT

A widely used algorithm for transfer learning is fine-tuning, where a pre-trained model is fine-tuned on a target task with a small amount of labeled data. When the capacity of the pre-trained model is significantly larger than the size of the target dataset, fine-tuning is prone to overfitting and memorizing the training labels. Hence, a crucial question is to regularize fine-tuning and ensure its robustness against noise. To address this question, we begin by analyzing the generalization properties of fine-tuning. We present a PAC-Bayes generalization bound that depends on the distance traveled in each layer during fine-tuning and the noise stability of the fine-tuned model. We empirically measure these quantities. Based on the analysis, we propose regularized self-labeling -- the interpolation between regularization and self-labeling methods, including (i) layer-wise regularization to constrain the distance traveled in each layer; (ii) self-label-correction and label-reweighting to correct mislabeled data points (that the model is confident) and reweight less confident data points. We validate our approach on an extensive collection of image and text datasets using multiple pre-trained model architectures. Our approach improves baseline methods by 1.76% (on average) for seven image classification tasks and 0.75% for a few-shot classification task. When the target data set includes noisy labels, our approach outperforms baseline methods by an average of 3.56% in two noisy settings.

연구 동기 및 목표

• 사전 훈련된 모델이 타겟 데이터셋보다 훨씬 클 때 피니테이닝 중 과적합과 레이블 기억 현상을 해결하기 위해.
• 특히 약한 지도 학습이 오류를 유도할 때 전이 학습에서 레이블 노이즈에 대한 강건성을 향상시키기 위해.
• 낮은 데이터 환경에서 일반화 능력을 향상시키기 위해 정규화와 자기 레이블링의 균형을 이루는 방법을 개발하기 위해.
• PAC-베이지안 경계를 통한 피니테이닝의 이론적 분석을 통해 모델 안정성과 가중치 이동을 일반화와 연결하기 위해.
• 다양한 비전 및 텍스트 작업, 특히 소수 샘플 및 의료 영상 설정에서 방법의 실증적 검증을 위해.

제안 방법

• 피니테이닝 중 각 층이 이동한 ℓ₂ 거리와 모델의 노이즈 안정성에 의존하는 PAC-베이지안 일반화 경계를 제안한다.
• 과적합을 줄이기 위해 각 층의 가중치 업데이트 ℓ₂ 노름을 제약하는 층별 정규화를 도입한다.
• 모델이 매우 확신하지만 레이블이 잘못된 경우에 데이터 포인트를 재레이블링하기 위해 자기 레이블 보정을 활용한다.
• 훈련 중에 덜 확신된 샘플의 예측을 낮게 조정하기 위해 레이블 재가중을 적용한다.
• 모델의 확신도에 따라 표준 피니테이닝과 자기 레이블링 업데이트를 번갈아 적용하는 하이브리드 훈련 전략을 사용한다.
• 실험에서 ℓ²와 MARS 노름을 모두 사용하여 가중치 제약을 구현했으며, ℓ²가 유사하거나 더 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 피니테이닝 중 각 층이 이동한 거리가 일반화 성능에 어떤 영향을 미치는가?
• RQ2 피니테이닝된 모델의 노이즈 안정성이 일반화 행동을 예측할 수 있는가?
• RQ3 정규화와 자기 레이블링을 결합하면 피니테이닝에서 레이블 노이즈에 대한 강건성이 향상되는가?
• RQ4 층별 정규화, 레이블 보정, 레이블 제거 등의 다양한 구성 요소가 성능에 기여하는 정도는 어떻게 되는가?
• RQ5 제안된 방법이 비전 트랜스포머와 소수 샘플 학습을 포함한 다양한 아키텍처 및 데이터 모odalities로 일반화되는가?

주요 결과

• RegSL은 기준 피니테이닝 대비 일곱 개인 이미지 분류 벤치마크에서 평균 1.76%의 정확도 향상을 기록했다.
• 노이즈가 있는 데이터 세트에서는 기준 모델 대비 평균 3.56%의 정확도 향상을 달성했으며, 잘못된 레이블의 기억 현상을 크게 감소시켰다.
• 층별 정규화는 훈련 정확도와 테스트 정확도 사이의 일반화 갭을 줄여, 더 나은 일반화 능력을 나타낸다.
• 20%의 노이즈 하에서 에포크 21에 자기 레이블링 보정 및 재가중을 적용했을 때 잘못 재레이블링된 샘플 수가 74% 감소했다(42개에서 11개로).
• 고노이즈 비율(40% 이상)에서는 레이블 보정 구성 요소가 가장 중요하며, 저노이즈 수준에서는 정규화가 더 효과적이다.
• 이 방법은 비전 트랜스포머, 의료 영상 분류(ChestX-ray14), 소수 샘플 NLP 작업 등으로 일반화되며, 소수 샘플 분류에서 정확도를 0.75% 향상시켰다.