[논문 리뷰] Reducing Overfitting in Deep Networks by Decorrelating Representations

Michael Cogswell, Faruk Ahmed외 3명|arXiv (Cornell University)|2015. 11. 19.

Machine Learning and Data Classification인용 수 78

한 줄 요약

이 논문은 딥 네ural 네트워크에서 과적합을 줄이기 위해 은닉층 활성화 간의 교차공분산을 최소화하는 새로운 정규화 기법 DeCov를 제안한다. 이는 상호상관성이 낮고 중복이 없는 표현을 장려한다. DeCov는 다양한 데이터셋과 아키텍처에서 훈련-검증 정확도 간 격차를 일관되게 줄이며, 종종 드롭아웃보다 우수하거나 동등한 성능을 보이며 일반화 성능을 유지하거나 향상시킨다.

ABSTRACT

One major challenge in training Deep Neural Networks is preventing overfitting. Many techniques such as data augmentation and novel regularizers such as Dropout have been proposed to prevent overfitting without requiring a massive amount of training data. In this work, we propose a new regularizer called DeCov which leads to significantly reduced overfitting (as indicated by the difference between train and val performance), and better generalization. Our regularizer encourages diverse or non-redundant representations in Deep Neural Networks by minimizing the cross-covariance of hidden activations. This simple intuition has been explored in a number of past works but surprisingly has never been applied as a regularizer in supervised learning. Experiments across a range of datasets and network architectures show that this loss always reduces overfitting while almost always maintaining or increasing generalization performance and often improving performance over Dropout.

연구 동기 및 목표

• 제한된 데이터로 큰 모델을 훈련할 때 발생하는 주요 과제인 딥 네트워크의 과적합 문제를 해결하기 위해.
• 은닉 유닛 활성화 간의 상관관계를 명시적으로 줄이면 일반화 성능 향상이 이루어지는지 조사하기 위해.
• 추가적인 감독 없이도 다양하고 중복이 없는 표현을 장려하는 새로운 정규화 기법을 개발하기 위해.
• 비상관 표현이 드롭아웃과 같은 표준 정규화 기법보다 더 나은 성능을 내는지 평가하기 위해.

제안 방법

• 선택한 레이어의 은닉 활성화 간 표본 교차공분산 행렬의 프로베니우스 노름을 최소화하는 DeCov라는 정규화 기법을 제안한다.
• 백프로파게이션 중에 추가 레이블이 필요 없는 비지도 학습 및 미분 가능한 정규화 항으로 DeCov 손실을 적용한다.
• 기존 딥 러닝 아키텍처에 DeCov 손실을 전체 훈련 목표에 추가하여 통합한다.
• 실험에서 배치 정규화와 ReLU 활성화를 사용하며, DeCov는 완전 연결 또는 풀링된 특징 맵에 적용된다.
• 정규화 효과를 균형 잡기 위해 DeCov 초모수(λ)를 튜닝하며, 실험 결과 다양한 값에서 뛰어난 안정성을 보였다.
• 드롭아웃과의 조합을 통해 일반화 및 과적합 감소에 대한 상호보완적 효과를 평가한다.

실험 결과

연구 질문

• RQ1 은닉 활성화 간의 교차공분산을 명시적으로 최소화하면 딥 네트워크에서 과적합이 줄어들 수 있는가?
• RQ2 표준 정규화 기법인 드롭아웃보다 비상관 표현이 더 나은 일반화 성능을 내는가?
• RQ3 DeCov는 다양한 데이터셋, 네트워크 아키텍처, 훈련 데이터 크기에서 어떻게 성능을 내는가?
• RQ4 DeCov는 드롭아웃과 함께 사용될 때 효과적인가, 아니면 서로 간섭하는가?
• RQ5 DeCov는 네트워크 인 네트워크와 같은 완전 컨볼루션 네트워크에 효과적으로 적용될 수 있는가?

주요 결과

• 단독으로 사용할 경우 DeCov는 이미지넷에서 128×128 해상도에서 훈련-검증 정확도 격차를 59.35%에서 14.7%로 줄였다.
• 네트워크 인 네트워크 아키텍처에서 DeCov는 상위-1 훈련-검증 격차를 약 3%p 감소시키고, 상위-5 격차는 2%p 감소시켰다.
• 모든 실험에서 DeCov는 단독으로도 과적합을 일관되게 줄이며, 베이스라인 대비 일반화 성능을 유지하거나 향상시켰다.
• 드롭아웃과 조합했을 경우 DeCov와 드롭아웃은 모든 설정에서 가장 높은 검증 정확도를 기록했으며, 훈련-검증 격차도 가장 작았다.
• 드롭아웃로 미리 훈련된 네트워크에 DeCov를 추가했을 때 성능 향상이 없거나 약간의 성능 저하가 발생했으며, 이는 두 정규화 기법 간 잠재적인 간섭을 시사한다.
• DeCov 손실은 레넷, 얼렉산넷, 네트워크 인 네트워크 등 다양한 아키텍처와 MNIST, CIFAR10/100, 이미지넷 등의 데이터셋에서 효과적이며, 넓은 적용 가능성을 보였다.