[논문 리뷰] Towards Understanding Label Smoothing

Yi Xu, Yuanhong Xu외 3명|arXiv (Cornell University)|2020. 06. 20.

Advanced Neural Network Applications참고 문헌 55인용 수 28

한 줄 요약

이 논문은 초기 학습 에포크에서 레이블 스무딩 정규화(LSR)를 적용하여 기울기 분산을 줄이고 수렴 속도를 높이며, 이후 에포크에서는 표준 원핫 레이블로 전환하는 새로운 학습 전략인 Two-Stage Label Smoothing(TSLA)를 제안한다. TSLA는 ResNet 모델에서 더 빠른 수렴과 향상된 일반화 성능을 달성하며, CIFAR-100 및 ImageNet 벤치마크에서 최신 기술 수준의 정확도를 확보하였다. 이는 이론적 분석과 광범위한 실험을 통해 검증되었다.

ABSTRACT

Label smoothing regularization (LSR) has a great success in training deep neural networks by stochastic algorithms such as stochastic gradient descent and its variants. However, the theoretical understanding of its power from the view of optimization is still rare. This study opens the door to a deep understanding of LSR by initiating the analysis. In this paper, we analyze the convergence behaviors of stochastic gradient descent with label smoothing regularization for solving non-convex problems and show that an appropriate LSR can help to speed up the convergence by reducing the variance. More interestingly, we proposed a simple yet effective strategy, namely Two-Stage LAbel smoothing algorithm (TSLA), that uses LSR in the early training epochs and drops it off in the later training epochs. We observe from the improved convergence result of TSLA that it benefits from LSR in the first stage and essentially converges faster in the second stage. To the best of our knowledge, this is the first work for understanding the power of LSR via establishing convergence complexity of stochastic methods with LSR in non-convex optimization. We empirically demonstrate the effectiveness of the proposed method in comparison with baselines on training ResNet models over benchmark data sets.

연구 동기 및 목표

• 레이블 스무딩 정규화(LSR)가 딥러닝 최적화 과정에 미치는 영향을 이론적으로 이해하는 것.
• 비볼록 설정에서 확률적 경사하강법(SGD)의 수렴 행동을 분석하는 것.
• LSR의 이점을 활용하면서도 후기 학습 단계에서 잠재적인 단점들을 피할 수 있는 실용적인 학습 전략을 개발하는 것.
• 후기 학습 단계에서 스무딩 레이블에서 원핫 레이블로 전환할 경우 일반화 성능과 수렴 속도 향상 여부를 경험적으로 입증하는 것.

제안 방법

• 초기 학습 에포크 동안 LSR를 적용하고 후기 단계에서는 이를 중단하는 Two-Stage Label Smoothing(TSLA)를 제안한다.
• 레이블 스무딩 변환: y^LS = (1−θ)y + θŷ로 표현되며, 여기서 ŷ는 균일 분포 또는 사전 학습된 모델의 출력 분포일 수 있다.
• LSR를 적용한 SGD의 수렴 분석을 통해 적절한 LSR가 기울기 분산을 감소시키고 반복 복잡도를 향상시킴을 보여준다.
• 이중 단계 학습 프로토콜을 활용: s 에포크 동안 LSR로 학습한 후, 나머지 에포크 동안 표준 원핫 레이블로 전환한다.
• 성능 향상을 위해 사전 학습된 모델의 출력을 사용해 ŷ를 생성함으로써 스무딩의 분산을 감소시킨다.
• ImageNet과 CIFAR-100에서 ResNet-18 및 ResNet-50에 표준 학습 프로토콜을 적용하며, 학습률 감소와 가중치 감쇠를 사용한다.

실험 결과

연구 질문

• RQ1 레이블 스무딩 정규화(LSR)는 비볼록 최적화에서 확률적 경사하강법(SGD)의 수렴에 어떤 영향을 미치는가?
• RQ2 LSR는 기울기 분산을 줄여 딥러닝 학습에서 수렴 속도를 가속화할 수 있는가?
• RQ3 성능을 최대화하기 위해 LSR를 학습 중 언제 비활성화하는 것이 가장 적절한가?
• RQ4 후기 학습 단계에서 스무딩 레이블에서 원핫 레이블로 전환할 경우 일반화 성능과 수렴 속도가 향상되는가?
• RQ5 스무딩 분포 선택(균일 vs. 사전 학습된 모델의 출력)이 성능에 어떤 영향을 미치는가?

주요 결과

• 160 에포크 동안 LSR를 적용하고 나서 원핫 레이블로 전환한 TSLA는 CIFAR-100에서 78.55%의 top-1 정확도를 달성하여 모든 베이스라인을 압도했다.
• TSLA-pre(160)는 CIFAR-100에서 78.55%의 top-1 정확도와 94.83%의 top-5 정확도를 기록하여 모든 방법 중 최고 성능을 보였다.
• ImageNet에서는 TSLA(50)가 표준 LSR 대비 0.5% 향상된 top-1 정확도를 기록했고, 베이스라인 대비 0.7% 향상되었다.
• 이론적 분석을 통해 적절한 LSR가 기울기 분산을 감소시켜 수렴 복잡도 향상에 기여함을 확인하였다.
• 120~180 에포크 이후 LSR에서 원핫 레이블로 전환하는 것은 일관되게 수렴 속도를 가속화하고 테스트 정확도를 향상시켰다.
• 사전 학습된 모델 출력을 스무딩에 사용한 TSLA-pre는 균일 스무딩보다 유의미하게 뛰어난 성능을 보였으며, 낮은 분산 레이블 분포의 중요성을 입증하였다.