[논문 리뷰] The Impact of Reinitialization on Generalization in Convolutional Neural Networks

Ibrahim Alabdulmohsin, Hartmut Maennel외 1명|arXiv (Cornell University)|2021. 09. 01.

Advanced Neural Network Applications참고 문헌 46인용 수 4

한 줄 요약

이 논문은 일반화 성능을 햖थ하며, 특히 소규모 데이터셋에서 효과를 발휘하는 새로운 계층별 재초기화 방법(lw)을 제안한다. 이 방법은 하위 계층을 순차적으로 재초기화하면서 가중치 노름을 유지하고 학습 마진을 향상시킴으로써, 손실 곡면의 평탄함을 증진시키고 초기 계층에서 일반적인 특징을 학습하도록 유도한다. 이는 이전의 재초기화 기법보다도 뛰어난 성능을 보이며, 더 평탄한 손실 곡면과 일반적인 특징 학습을 촉진함으로써 일반화 성능을 향상시킨다.

ABSTRACT

Recent results suggest that reinitializing a subset of the parameters of a neural network during training can improve generalization, particularly for small training sets. We study the impact of different reinitialization methods in several convolutional architectures across 12 benchmark image classification datasets, analyzing their potential gains and highlighting limitations. We also introduce a new layerwise reinitialization algorithm that outperforms previous methods and suggest explanations of the observed improved generalization. First, we show that layerwise reinitialization increases the margin on the training examples without increasing the norm of the weights, hence leading to an improvement in margin-based generalization bounds for neural networks. Second, we demonstrate that it settles in flatter local minima of the loss surface. Third, it encourages learning general rules and discourages memorization by placing emphasis on the lower layers of the neural network. Our takeaway message is that the accuracy of convolutional neural networks can be improved for small datasets using bottom-up layerwise reinitialization, where the number of reinitialized layers may vary depending on the available compute budget.

연구 동기 및 목표

• 학습 도중 신경망 가중치를 재초기화하는 것이 일반화 성능을 향상시킬 수 있는지, 특히 데이터가 적은 환경에서 성능 향상 여부를 조사하는 것.
• 표준 이미지 분류 벤치마크에서 랜덤, 크기 기반, 고정, 완전 연결 기반 등 다양한 재초기화 전략의 효과를 비교하는 것.
• 하나의 계층에서 시작하여 하위 계층을 순차적으로 재초기화하고, 정규화를 적용하는 새로운 재초기화 방법인 layerwise(lw)를 개발하고 평가하는 것.
• 마진 최대화, 손실 곡면의 평탄함, 기억의 감소를 통해 일반화 성능 향상의 메커니즘을 설명하는 것.
• 재초기화가 유의미한 성능 향상을 가져오는 조건를 규명하고, 계산 자원 제약 조건을 고려한 실용적 적용 가이드라인을 제시하는 것.

제안 방법

• 제안된 lw 방법은 CNN을 K개의 컨볼루션 블록으로 나누고, 하위 k개 블록을 순차적으로 재초기화한다. k는 1부터 K까지 증가시킨다.
• 각 라운드 k에서, 첫 k개 블록의 가중치는 원래의 초기화 노름으로 재스케일링되며, 이후 모든 레이어는 재초기화된다.
• 블록 k 이후에 배치 정규화 유사 정규화 레이어를 삽입하거나 업데이트하여 활성화를 안정화하고 기울기 흐름을 유지한다.
• 각 블록에 대해 총 N번 반복되며, 매 재초기화 후 미세조정을 통해 수렴을 허용한다.
• 이 방법은 초기 계층의 가중치 프로베니우스 노름을 명시적으로 유지하면서 동시에 학습 예제의 마진을 증가시킨다.
• 다양한 아키텍처를 사용해 12개의 이미지 분류 데이터셋에서 평가하였으며, 정규화 및 재스케일링 구성 요소에 대한 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 표준 학습 및 다른 재초기화 기법과 비교해 계층별 재초기화가 CNN의 일반화 성능을 향상시키는가?
• RQ2 재초기화는 학습 예제의 마진과 가중치의 노름에 어떤 영향을 미치는가?
• RQ3 재초기화가 손실 곡면의 국소 최소값을 얼마나 더 평탄하게 만드는가?
• RQ4 재초기화는 기억의 정도를 줄이고 초기 계층에서 일반적인 특징 학습을 장려하는가?
• RQ5 lw의 성능는 데이터셋 크기와 사용 가능한 계산 자원 예산에 따라 어떻게 변화하는가?

주요 결과

• 계층별 재초기화(lw) 방법은 12개의 벤치마크 데이터셋에서 기준 학습 및 다른 재초기화 전략(welsr, dsd, wels, fc)보다 일관되게 뛰어난 성능을 보이며, 특히 소규모 학습 세트에서 두각을 나타낸다.
• lw는 프로베니우스 노름을 증가시키지 않으면서도 학습 예제의 최소 마진을 증가시켜, 마진 기반 일반화 경계의 향상에 기여한다.
• lw로 학습된 최종 모델은 표준 학습 대비 파arameter 편향에 대한 손실 변화가 더 작은 것으로 나타나, 손실 곡면의 더 평탄한 영역에 위치해 있음을 확인하였다.
• 아블레이션 스터디 결과, 정규화와 재스케일링이 lw의 핵심 구성 요소임을 입증하였으며, 이들의 제거는 성능 저하를 초래한다.
• lw는 초기 계층에서 일반적인 특징 학습을 강조함으로써 기억의 정도를 감소시키며, 데이터셋 특화 패턴에 대한 과적합을 억제한다.
• 대규모 데이터셋에서는 재초기화의 이점이 감소함을 확인하여, 이 방법의 주요 이점이 저데이터 일반화에 있음을 시사한다.