[논문 리뷰] Do deep nets really need weight decay and dropout?

Álex Hernández-García, Peter König|arXiv (Cornell University)|2018. 02. 20.

Advanced Neural Network Applications참고 문헌 10인용 수 19

한 줄 요약

이 논문은 객체 인식을 위한 딥 네ural 네트워크에서 가중치 감쇠와 드롭아웃이 진정으로 필요한지 조사한다. All-CNN 및 WRN 아키텍처를 사용하여 ImageNet, CIFAR-10, CIFAR-100에서의 추론 실험을 통해, 데이터 증강만으로도 가중치 감쇠와 드롭아웃을 모두 사용하는 모델보다 유사하거나 더 나은 일반화 성능을 달성할 수 있음을 보여주며, 강력한 데이터 증강이 적용될 경우 명시적 정규화가 부용할 수 있음을 시사한다.

ABSTRACT

The impressive success of modern deep neural networks on computer vision tasks has been achieved through models of very large capacity compared to the number of available training examples. This overparameterization is often said to be controlled with the help of different regularization techniques, mainly weight decay and dropout. However, since these techniques reduce the effective capacity of the model, typically even deeper and wider architectures are required to compensate for the reduced capacity. Therefore, there seems to be a waste of capacity in this practice. In this paper we build upon recent research that suggests that explicit regularization may not be as important as widely believed and carry out an ablation study that concludes that weight decay and dropout may not be necessary for object recognition if enough data augmentation is introduced.

연구 동기 및 목표

• 딥 컨볼루션 네트워크에서 일반화를 위해 가중치 감쇠와 드롭아웃이 필수인지 조사하기.
• 데이터 증강이 명시적 정규화 기법의 충분한 대체 수 Mittel이 될 수 있는지 평가하기.
• 다양한 아키텍처와 데이터셋에서 높은 성능를 유지하면서 가중치 감쇠와 드롭아웃을 제거했을 때의 영향을 평가하기.
• 오버피팅을 제어하고 테스트 정확도를 향상시키는 데서 데이터 증강과 명시적 정규화의 효과를 비교하기.
• 강력한 데이터 증강이 사용될 경우 기존의 가중치 감쇠와 드롭아웃에 대한 의존도를 도전하며, 이들이 부용할 수 있음을 보여주기.

제안 방법

• All-CNN 및 넓은 잔차 네트워크(WRN) 아키텍처를 사용하여 ImageNet, CIFAR-10, CIFAR-100 데이터셋에서 추론 실험을 수행하였다.
• 가중치 감쇠와 드롭아웃이 있는지 여부에 따라 모델을 훈련하였으며, 세 가지 데이터 증강 기법을 사용하였다: 경량, 강력, 없음.
• 경량 증강은 수평 뒤집기와 10% 이동을 포함하였고, 강력한 증강은 애핀 변환, 밝기 및 대비 조정을 포함하였다.
• ImageNet에선 랜덤 크롭(128×128)을 사용하였고, 증강이 없을 경우 중심 크롭을 적용하였다.
• 10개의 랜덤 경량 증강에 대해 소프트맥스 사후 확률을 평균내어 안정적인 평가를 확보하였다.
• 원본 논문에서 보고된 대로 초모수를 최적화하였지만, 정규화가 제거되었을 경우 최적의 학습률이 이동할 수 있음을 인정하였다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크에서 일반화를 위해 가중치 감쇠와 드롭아웃을 명시적으로 사용하는 것이 필수적인가?
• RQ2 데이터 증강만으로도 가중치 감쇠와 드롭아웃을 모두 사용하는 모델와 동일하거나 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 명시적 정규화 없이 훈련된 모델의 성능는 이를 사용한 모델와 비교해 볼 때, 다양한 데이터 증강 수준에서 어떻게 다를까?
• RQ4 데이터 증강의 효과는 모델 아키텍처나 데이터셋 크기에 따라 달라지며, 초모수를 최적화한 명시적 정규화와 비교해 볼 때 어떻게 다를까?
• RQ5 가중치 감쇠와 드롭아웃의 이점은 성능 저하 없이 데이터 증강으로 완전히 대체될 수 있는가?

주요 결과

• 데이터 증강만으로도 All-CNN에서 가중치 감쇠와 드롭아웃을 모두 사용하는 모델와 유사하거나 더 나은 성능를 달성하였다.
• CIFAR-10과 CIFAR-100에서 WRN을 사용한 경우, 정규화 없이 훈련된 모델의 테스트 정확도는 각각 기준선의 0.13%와 0.28% 이내였으며, 이는 성능 향상이 없음을 시사한다.
• 초모수 최적화가 이루어지지 않은 경우(예: CIFAR-100에서 All-CNN), 정규화 없이 훈련된 모델이 가중치 감쇠와 드롭아웃을 사용한 모델보다 성능이 뛰어나, 초모수 선택에 대해 더 뛰어난 내성성을 보였다.
• 저자들은 정규화가 제거되었을 경우 더 높은 학습률이 성능 향상에 기여함을 관찰하였으며, 이는 원래 초모수 설정이 명시적 정규화가 없는 환경에서는 최적의 설정이 아니었음을 시사한다.
• 가중치 감쇠와 드롭아웃에 비해 데이터 증강이 더 적응력 있고 초모수 조정에 더 민감하지 않음을 발견하였으며, 이는 아키텍처와 데이터셋에 따라 세밀한 조정이 필요하다.
• 결과는 데이터 증강이 가중치 감쇠와 드롭아웃과 달리 모델 용량을 감소시키지 않으며, 더 효과적이고 충분한 정규화 형태가 될 수 있음을 지지한다.