[논문 리뷰] Convolutional Neural Networks with Dynamic Regularization

Yi Wang, Zhen-Peng Bian외 2명|arXiv (Cornell University)|2019. 09. 26.

Advanced Neural Network Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 훈련 손실의 변화율에 기반해 정규화 강도를 적응적으로 조정하는 동적 정규화 방법을 제안한다. 정규화를 손실의 역차분 함수로 모델링함으로써, 큰 모델에 대해서는 강한 변형을, 작은 모델에 대해서는 약한 변형을 자동으로 제공함으로써 일반화 성능을 향상시키고, 이미지 분류 벤치마크에서 ShakeDrop 및 DropBlock과 같은 최신 기법들을 능가한다.

ABSTRACT

Regularization is commonly used for alleviating overfitting in machine learning. For convolutional neural networks (CNNs), regularization methods, such as DropBlock and Shake-Shake, have illustrated the improvement in the generalization performance. However, these methods lack a self-adaptive ability throughout training. That is, the regularization strength is fixed to a predefined schedule, and manual adjustments are required to adapt to various network architectures. In this paper, we propose a dynamic regularization method for CNNs. Specifically, we model the regularization strength as a function of the training loss. According to the change of the training loss, our method can dynamically adjust the regularization strength in the training procedure, thereby balancing the underfitting and overfitting of CNNs. With dynamic regularization, a large-scale model is automatically regularized by the strong perturbation, and vice versa. Experimental results show that the proposed method can improve the generalization capability on off-the-shelf network architectures and outperform state-of-the-art regularization methods.

연구 동기 및 목표

• 고정된 강도의 정규화가 모델 크기와 훈련 동역학에 적응하지 못하는 한계를 해결하기 위해.
• 훈련 중 정규화 강도를 동적으로 조정하여 과적합을 줄이고 일반화 성능을 향상시키기 위해.
• 정규화를 훈련 과정에 자동으로 적응시킴으로써 수동적인 초모수 조정을 제거하기 위해.
• 훈련이 진행됨에 따라 정규화 강도를 증가시켜 과소적합과 과적합을 균형 잡기 위해.

제안 방법

• 정규화 강도를 손실의 역차분 함수로 모델링하여, 훈련 중 실시간 적응이 가능하도록 한다.
• 손실 기울기 기반으로 동적 인자가 업데이트되며, 이는 잔차 브랜치에 적용되는 특징 공간 변형의 진폭을 제어한다.
• 노이즈를 계층별로 구조적으로 특징맵에 적용하며, 노이즈 범위는 하단에서 상단의 잔차 블록으로 향해 선형적으로 증가한다.
• 소음이 미니배치 변동성으로 인한 영향을 줄이기 위해, 동적 인자 업데이트 이전에 손실 신호에 가우시안 필터를 적용한다.
• 학습 가능한 손실 의존적 변형 게이트를 포함하도록 잔차 블록을 수정함으로써, 이 방법을 ResNet 유사 아키텍처에 통합한다.
• 정규화는 전방 및 역방향 전파 모두에 적용되어 특징을 효과적으로 증강하고 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 조정 없이 훈련 중 정규화 강도를 동적으로 조정하여 일반화 성능을 향상시킬 수 있는가?
• RQ2 손실에 의존하는 정규화 스케줄링이 다양한 네트워크 아키텍처에서 고정 또는 선형 스케줄링보다 우수한가?
• RQ3 다양한 깊이와 너비를 가진 모델에서 동적 정규화가 과소적합과 과적합을 효과적으로 균형 잡을 수 있는가?
• RQ4 훈련 손실에 적응하는 동적 인자와 정적 또는 스케줄링 기반 접근 방식을 비교했을 때, 테스트 정확도 측면에서 어떤가?

주요 결과

• 제안된 동적 정규화는 PyramidNet-26-a84에서 Top-1 오차율 23.83%를 달성하여 베이스라인(26.30%) 및 모든 고정/선형 스케줄링을 능가했다.
• 훈련 오차와 테스트 오차 간의 일반화 갭을 줄였으며, 특히 PyramidNet-110-a48와 같은 깊은 모델에서 더 큰 감소 효과를 보였다.
• 노이즈 범위를 선형적으로 증가시키는 방식(R)이 균일한 R보다 성능을 향상시켰으며, 오차율을 25.28%에서 23.83%로 감소시켰다.
• 가우시안 필터를 제거하면 오차율이 1.38% 증가하여, 동적 인자 업데이트의 안정성 확보에 필터의 역할이 있음을 확인했다.
• 다양한 아키텍처에서 최신 기법인 ShakeDrop, Shake-Shake, DropBlock과 비교해도 동적 스케줄링이 뛰어난 성능을 보였다.