[논문 리뷰] ShakeDrop regularization

Yoshihiro Yamada, Masakazu Iwamura외 1명|arXiv (Cornell University)|2018. 02. 15.

Advanced Neural Network Applications참고 문헌 5인용 수 34

한 줄 요약

이 논문은 훈련 중에 임의의 부호 전환 드롭아웃 유사 노이즈를 적용함으로써 깊은 네트워크를 향상시키는 메모리 효율적인 방법인 ShakeDrop 정규화를 소개한다. 이는 ResNeXt를 초과하여 ResNet, Wide ResNet, 그리고 PyramidNet로 확장되며, 음수 스케일링 인자에 의한 강력한 학습 방해를 통해 CIFAR-10/100 및 Tiny ImageNet에서 오차율을 크게 감소시킨다.

ABSTRACT

This paper proposes a powerful regularization method named extit{ShakeDrop regularization}. ShakeDrop is inspired by Shake-Shake regularization that decreases error rates by disturbing learning. While Shake-Shake can be applied to only ResNeXt which has multiple branches, ShakeDrop can be applied to not only ResNeXt but also ResNet, Wide ResNet and PyramidNet in a memory efficient way. Important and interesting feature of ShakeDrop is that it strongly disturbs learning by multiplying even a negative factor to the output of a convolutional layer in the forward training pass. The effectiveness of ShakeDrop is confirmed by experiments on CIFAR-10/100 and Tiny ImageNet datasets.

연구 동기 및 목표

• 깊은 잔차 네트워크에서 과적합을 효과적으로 줄이는 정규화 방법을 개발하는 것.
• Shake-Shake 스타일의 정규화를 ResNeXt와 같은 다중 브랜치 아키텍처를 초월해 적용 가능하게 하는 것.
• 기본 잔차 네트워크에서 최소한의 메모리 오버헤드로 높은 성능 향상을 가능하게 하는 것.
• 훈련 중에 강력한 부호 전환 노이즈 주입이 일반화에 미치는 영향을 조사하는 것.

제안 방법

• ShakeDrop은 전방 전파 중에 잔차 블록의 출력에 대해 확률적이고 학습 가능한 스케일링 인자(양수 또는 음수)를 적용한다.
• 스케일링 인자는 양수와 음수 값을 모두 포함하는 분포에서 샘플링되며, 이로 인해 특징 학습이 방해되는 부호 전환이 가능해진다.
• 이 방법은 다중 브랜치 아키텍처에 국한되지 않고, 기존 잔차 네트워크(ResNet), Wide ResNet, PyramidNet와도 호환된다.
• 훈련 중에 추가 매개변수나 활성화 저장을 필요로 하지 않기 때문에 메모리 효율성을 유지한다.
• 정규화는 전방 전파에만 적용되며, 확률적 연산을 통해 일반적인 방식으로 기울기가 역전파된다.
• 강력한 노이즈 주입에도 불구하고 잔차 연결 구조를 활용해 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 Shake-Shake에 영감을 받은 정규화 방법이 다중 브랜치 아키텍처를 초월해 기본 잔차 네트워크로 일반화될 수 있는가?
• RQ2 훈련 중에 음수 스케일링 인자를 도입함으로써 깊은 네트워크의 일반화가 향상되는가?
• RQ3 기본 잔차 네트워크에서 최소한의 메모리 비용으로 효과적인 정규화를 달성할 수 있는가?
• RQ4 ShakeDrop은 CIFAR-10/100 및 Tiny ImageNet와 같은 표준 벤치마크에서 기존 정규화 기법과 비교해 어떻게 성능을 내는가?

주요 결과

• ShakeDrop은 추가 매개변수 없이도 기준 모델 대비 CIFAR-10 및 CIFAR-100에서 테스트 오차율을 크게 감소시킨다.
• 이 방법은 Tiny ImageNet에서 최신 기술 성능을 달성하며, 다양한 아키텍처에 걸쳐 강력한 일반화 성능을 보여준다.
• ShakeDrop은 ResNet, Wide ResNet, PyramidNet를 포함한 여러 아키텍처에서 효과적이며, ResNeXt에 국한되지 않는다.
• ShakeDrop의 메모리 효율성 덕분에 성능 저하 없이 자원 제약이 있는 환경에서도 구현이 가능하다.
• 음수 스케일링 인자의 사용은 양수 전용 또는 대칭 노이즈 방법보다 더 강력한 정규화 효과를 낳는다.