[논문 리뷰] Data augmentation instead of explicit regularization

Álex Hernández-García, Peter König|arXiv (Cornell University)|2018. 06. 11.

Advanced Neural Network Applications참고 문헌 73인용 수 81

한 줄 요약

이 논문은 데이터 증강이 딥 네트에서 명시적 정규화(가중치 감소 및 드롭아웃)를 상회하거나 동등하게 만들 수 있으며, 하이퍼파라미터 튜닝 없이도 일반화가 더 좋아지는 경우가 많다고 주장한다.

ABSTRACT

Contrary to most machine learning models, modern deep artificial neural networks typically include multiple components that contribute to regularization. Despite the fact that some (explicit) regularization techniques, such as weight decay and dropout, require costly fine-tuning of sensitive hyperparameters, the interplay between them and other elements that provide implicit regularization is not well understood yet. Shedding light upon these interactions is key to efficiently using computational resources and may contribute to solving the puzzle of generalization in deep learning. Here, we first provide formal definitions of explicit and implicit regularization that help understand essential differences between techniques. Second, we contrast data augmentation with weight decay and dropout. Our results show that visual object categorization models trained with data augmentation alone achieve the same performance or higher than models trained also with weight decay and dropout, as is common practice. We conclude that the contribution on generalization of weight decay and dropout is not only superfluous when sufficient implicit regularization is provided, but also such techniques can dramatically deteriorate the performance if the hyperparameters are not carefully tuned for the architecture and data set. In contrast, data augmentation systematically provides large generalization gains and does not require hyperparameter re-tuning. In view of our results, we suggest to optimize neural networks without weight decay and dropout to save computational resources, hence carbon emissions, and focus more on data augmentation and other inductive biases to improve performance and robustness.

연구 동기 및 목표

• 명시적 규제와 암묵적 규제를 형식적으로 명확하게 정의한다.
• 통계적 학습 이론에서 데이터 증강과 명시적 규제 간의 이론적 비교를 한다.
• 다양한 벤치마크와 아키텍처에서 명시적 규제가 있는/없는 모델을 경험적으로 평가한다.
• 데이터 감소 및 아키텍처 변경에 대한 적응성을 평가한다.
• 학습 효율 및 일반화에 대한 실용적 시사점을 논의한다.

제안 방법

• 표현 용량 대비 실현 용량에 기반한 명시적 및 암묵적 규제의 형식적 정의를 제공한다.
• 일반화 경계(Rademacher 복잡도) 및 증강이 암묵적 규제로 작용하는 방식을 이론적으로 논의한다.
• ImageNet, CIFAR-10, CIFAR-100에서 All-CNN, WRN, DenseNet을 가중치 감소와 드롭아웃 여부 및 데이터 증강의 강도(없음, 경량, 더 강한)에 대해 학습시켜 비교한다.
• 증강 대 명시적 규제의 이득을 비교하기 위해 성능을 측정하고 부트스트랩 분석을 수행한다.
• 학습 데이터가 50% 및 10%로 축소될 때의 강건성을 평가한다.
• 다른 증강 규칙 하에서 학습 dynamics 및 데이터 효율성을 분석한다.

실험 결과

연구 질문

• RQ1 데이터 증강만으로도 가중치 감소 및 드롭아웃과 같은 명시적 규제에 비해 동등하거나 우수한 일반화를 제공하는가?
• RQ2 증강 수준(없음, 경량, 더 강한)이 네트워크 및 데이터셋 전반의 성능에 어떤 영향을 미치는가?
• RQ3 한정된 데이터나 아키텍처 변경 시 명시적 규제가 더 유익하거나 덜 유익한가?
• RQ4 증강 대 명시적 규제 사용의 학습 역학 및 자원 영향은 무엇인가?

주요 결과

Augmentation Level	No explicit reg.	Weight decay & dropout
None	baseline	3.02 (1.65)
Light	8.46 (3.80)	7.88 (2.60)
Heavier	8.68 (4.69)	7.92 (4.03)

• 데이터 증강만으로도 여러 실험에서 가중치 감소 및 드롭아웃으로 학습된 모델과 동등하거나 더 높은 정확도를 달성할 수 있다.
• 평균적으로 증강만으로 기준선 대비 정확도가 8.57% 증가했고, 증강+명시적 규제의 경우 7.90% 증가했다.
• 여러 경우에서 가중치 감소와 드롭아웃을 제거해도 하이퍼파라미터를 조정하지 않고도 상태 최적화 결과를 얻을 수 있어, 증강 및 최적화의 암묵적 규제가 충분함을 시사한다.
• 가중치 감소 및 드롭아웃과 같은 규제는 일반화 이점이 작고, 특히 데이터가 부족할 때 하이퍼파라미터를 신중하게 조정하지 않으면 성능이 떨어질 수 있다.
• 증강만을 사용하는 모델은 더 빠르게 학습하고 학습률 스케줄링에 덜 의존하며, 실행 간 일관된 결과를 보인다.
• 학습 데이터가 50% 또는 10%로 축소되면 명시적 규제는 증강만보다 성능 저하가 더 빨리 나타나는데, 이는 증강의 데이터 효율성을 강조한다.