[논문 리뷰] Regularizing Neural Networks by Penalizing Confident Output Distributions

Gabriel Pereyra, George Tucker외 3명|arXiv (Cornell University)|2017. 01. 23.

Adversarial Robustness in Machine Learning인용 수 379

한 줄 요약

이 논문은 신경망의 출력에 대한 최대 엔트로피 정규화(확신 페널티)와 레이블 스무딩을 출력 규제로 도입하여, 하이퍼파라미터를 변경하지 않고도 여러 벤치마크에서 일반화 성능을 향상시킨다.

ABSTRACT

We systematically explore regularizing neural networks by penalizing low entropy output distributions. We show that penalizing low entropy output distributions, which has been shown to improve exploration in reinforcement learning, acts as a strong regularizer in supervised learning. Furthermore, we connect a maximum entropy based confidence penalty to label smoothing through the direction of the KL divergence. We exhaustively evaluate the proposed confidence penalty and label smoothing on 6 common benchmarks: image classification (MNIST and Cifar-10), language modeling (Penn Treebank), machine translation (WMT'14 English-to-German), and speech recognition (TIMIT and WSJ). We find that both label smoothing and the confidence penalty improve state-of-the-art models across benchmarks without modifying existing hyperparameters, suggesting the wide applicability of these regularizers.

연구 동기 및 목표

• 활성화나 가중치와는 다른 형태의 규칙성으로서 모델의 출력 분포를 규제하는 것을 다른 규칙(정규화)으로 삼기 위한 동기 부여.
• 지도학습에서 일반화에 대한 최대 엔트로피 기반 확신 페널티의 영향을 평가.
• 하이퍼파라미터를 바꾸지 않고도 다양한 벤치마크에서 확신 페널티와 레이블 스무딩을 비교하고 적용 가능성을 평가해 본다.

제안 방법

• 확정도 페널티가 포함된 손실 정의: L(θ) = - sum log pθ(y|x) - β H(pθ(y|x)).
• 출력 분포의 엔트로피 H(pθ(y|x))를 계산하고 로그들에 대한 기울기(그래디언트)를 도출한다.
• 엔트로피가 특정 임계값 이하일 때만 페널티를 적용하도록 페널티를 어닐링하거나 힌지 임계값을 적용한다.
• KL 발산을 통해 확신 페널티를 레이블 스무딩과 연관시키고, 스무딩을 KL(u || pθ)로 해석하며 페널티를 KL(pθ || u)로 해석한다.
• 다양한 작업에서 균일한 레이블 스무딩과 unigram 레이블 스무딩, 그리고 확신 페널티를 실험적으로 비교한다.

실험 결과

연구 질문

• RQ1 확신이 높은(저 엔트로피) 출력 분포를 규제하는 것이 지도학습에서 일반화를 향상시키는가?
• RQ2 확신 페널티가 다양한 벤치마크에서 레이블 스무딩과 비교하여 어떤 차이가 있는가?
• RQ3 이들 출력 규제기가 기존 하이퍼파라미터를 바꾸지 않고도 여러 작업에서 효과적일 수 있는가?
• RQ4 최대 엔트로피 페널티와 레이블 스무딩 사이의 이론적 및 실무적 관계는 무엇인가?
• RQ5 훈련 다이나믹스에 영향을 주는 어닐링, 임계 설정 등의 실용적 고려사항이 있는가?

주요 결과

• 레이블 스무딩과 확신 페널티 모두 하이퍼파라미터를 바꾸지 않고도 여러 벤치마크에서 최첨단 모델의 성능을 향상시킨다.
• MNIST, CIFAR-10, Penn Treebank, WMT’14 English-German, TIMIT, WSJ에서 규제들이 일관된 일반화 이익을 제공한다.
• 언어 모델링에서 확신 페널티가 레이블 노이즈 및 레이블 스무딩을 능가하며, PTB에서 상당한 perplexity 개선을 보인다.
• 기계 번역에서 레이블 스무딩이 확신 페널티를 약간 앞서는 경향이 있으며, 일부 설정에서 약 1 BLEU 포인트의 이득을 보인다.
• 음성 인식에서 unigram 레이블 스무딩이 최적의 WER 개선을 제공하고, 베이스라인 및 다른 규제들에 비해 눈에 띄는 감소를 보인다.