[논문 리뷰] Adaptive Regularization of Labels

Qianggang Ding, Sifan Wu외 3명|arXiv (Cornell University)|2019. 08. 15.

Advanced Neural Network Applications참고 문헌 26인용 수 23

한 줄 요약

이 논문은 깊이 있는 신경망이 잘못 분류된 예제로부터 학습할 수 있도록 잔차 상관 행렬과 이중손실 메커니즘을 사용하여 레이블을 적응적으로 정규화하는 새로운 방법인 적응형 레이블 정규화(Adaptive Label Regularization, ALR)를 제안한다. 이 방법은 교사 네트워크가 필요 없이 이미지 및 텍스트 분류 작업 전반에서 일반화 성능을 향상시키며, 최소한의 파라미터 오버헤드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, a variety of regularization techniques have been widely applied in deep neural networks, such as dropout, batch normalization, data augmentation, and so on. These methods mainly focus on the regularization of weight parameters to prevent overfitting effectively. In addition, label regularization techniques such as label smoothing and label disturbance have also been proposed with the motivation of adding a stochastic perturbation to labels. In this paper, we propose a novel adaptive label regularization method, which enables the neural network to learn from the erroneous experience and update the optimal label representation online. On the other hand, compared with knowledge distillation, which learns the correlation of categories using teacher network, our proposed method requires only a minuscule increase in parameters without cumbersome teacher network. Furthermore, we evaluate our method on CIFAR-10/CIFAR-100/ImageNet datasets for image recognition tasks and AGNews/Yahoo/Yelp-Full datasets for text classification tasks. The empirical results show significant improvement under all experimental settings.

연구 동기 및 목표

• 원-핫 인코딩된 레이블의 한계를 해결하기 위해, 레이블 간 상관관계를 忽略하고 클래스 간 의미적 유사성을 포착하지 못하는 문제를 해결하기 위해.
• 하드 손실과 소프트 손실이 예측을 서로 반대 방향으로 이끄는 지식 정복에서 발생하는 모순을 극복하기 위해.
• 오류 예측을 정보성 신호로 활용하여 일반화 성능을 향상시키는 레이블 정규화 방법을 개발하기 위해.
• 복잡한 교사 네트워크가 필요 없이 지식 정복 수준의 성능을 달성하기 위해.

제안 방법

• 오류 분류의 확률을 모델링하기 위해, 한 클래스를 다른 클래스로 잘못 분류할 확률을 기반으로 한 잔차 상관 행렬을 도입한다. 이는 시간에 따라 레이블 간 관계를 포착한다.
• 잔차 레이블을 잘못된 분류의 소프트 확률 분포로 정의하며, 이는 잔차 상관 행렬에서 유도된다.
• 이중손실 함수를 제안한다: 잔차 손실($\mathcal{L}_{res}$)은 예측이 잔차 레이블과 일치하도록 유도하고, 업데이트 손실($\mathcal{L}_{upd}$)은 현재 모델 예측에 따라 잔차 레이블을 갱신하도록 한다.
• 운동 평균 업데이트 규칙을 사용하여 훈련 중에 동적으로 잔차 레이블을 정교화함으로써 일관성과 안정성을 확보한다.
• 외부 교사 네트워크나 사전 계산된 소프트 레이블이 필요 없이, 종단 간 학습에 직접 적용된다.
• 온도 제어 소프트닝 메커니즘을 활용하여 잔차 레이블을 점차 부드럽게 만들며, 과적합을 늦춘다.

실험 결과

연구 질문

• RQ1 오차 예측에서 학습하는 것이 감독 딥 러닝에서 모델 일반화 성능을 향상시킬 수 있는가?
• RQ2 지식 정복에서 하드 레이블과 소프트 레이블의 조합이 왜 최적화 목표를 서로 충돌시킬 수 있는가?
• RQ3 모델 오류에서 유도된 잔차 레이블이 정규화를 위한 일관되고 안정적인 신호가 될 수 있는가?
• RQ4 별도의 교사 네트워크에 의존하지 않고 레이블 정규화를 어떻게 달성할 수 있는가?
• RQ5 적응적이고 온라인으로 개선되는 레이블 표현 방식이 정적 레이블 스무딩이나 지식 정복보다 성능이 뛰어나게 되는가?

주요 결과

• CIFAR-100에서 ALR-S는 레이어 수가 1×일 때 70.97%의 정확도를 기록했으며, DML의 성능를 재현했지만 파라미터 수를 절반으로 줄였다.
• ImageNet-12에서 ALR-S는 ResNet-32를 사용해 80.70%의 Top-1 정확도를 달성했으며, 베이스라인을 초월하고 최신 기술 수준의 방법과 동등한 성능을 보였다.
• 잔차 상관 행렬은 시간이 지남에 따라 일관된 오류 분류 패tern을 보였다. 예를 들어 '고양이'가 자주 '개'로 잘못 분류되고, 그 반대도 마찬가지였다.
• 시각화 결과 잔차 레이블이 시간이 지남에 따라 점차 부드러워지는 것으로 확인되었으며, 이는 잘못된 예측에 대한 신뢰도가 감소하고 과적합 속도가 느려지는 것을 시사한다.
• ALR는 이미지 및 텍스트 벤치마크에서 다양한 아키텍처(ResNet, WideResNet, TextRNN, CharCNN, Transformer) 전반에서 일관된 성능 향상을 보였다.
• 레이블 스무딩과 지식 정복보다 성능이 뛰어나며, ALR와 레이블 스무딩의 조합은 성능 향상을 더욱 높였다.