[논문 리뷰] RandomOut: Using a convolutional gradient norm to rescue convolutional filters

Joseph Cohen, Henry Z. Lo외 1명|arXiv (Cornell University)|2016. 02. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 5

한 줄 요약

RandomOut는 손실 감소에 기여도가 낮은 필터(Gradient Norm이 낮은)를 식별하고 재초기화함으로써 합성곱 신경망의 학습 안정성과 정확도를 향상시킨다. 이는 네트워크 크기를 늘리지 않고도 탐색 가능한 필터 수를 효과적으로 늘리는 방식이다. 이 방법은 28x28 Inception-V3에서 중앙값 테스트 정확도를 +3.3% 향상시키며, 랜덤 시드에 따른 성능 변동을 2%에서 1.3%로 감소시킨다.

ABSTRACT

Filters in convolutional neural networks are sensitive to their initialization. The random numbers used to initialize filters are a bias and determine if you will "win" and converge to a satisfactory local minimum so we call this The Filter Lottery. We observe that the 28x28 Inception-V3 model without Batch Normalization fails to train 26% of the time when varying the random seed alone. This is a problem that affects the trial and error process of designing a network. Because random seeds have a large impact it makes it hard to evaluate a network design without trying many different random starting weights. This work aims to reduce the bias imposed by the initial weights so a network converges more consistently. We propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy on the 28x28 Inception-V3 with a median increase of +3.3%. In effect our method RandomOut increases the number of filters explored without increasing the size of the network. We observe that the RandomOut method has more consistent generalization performance, having a standard deviation of 1.3% instead of 2% when varying random seeds, and does so faster and with fewer parameters.

연구 동기 및 목표

• 랜덤 가중치 초깃값에 민감한 CNN 학습 문제, 즉 '필터 로또' 현상으로 인한 수렴 불안정성과 성능 변동을 해결하기 위해.
• 초기 가중치에 의해 유도되는 편향을 줄여 네트워크가 양호한 국소 최솟값에 도달하지 못하게 하는 문제를 완화하기 위해.
• 네트워크 깊이 또는 너비를 늘리지 않고도 일반화 일관성과 정확도를 향상시키기 위해.
• 배치 정규화의 계산 비용을 피하면서도 경량이면서 학습 시점에서만 적용 가능한 정규화 방법을 개발하기 위해.

제안 방법

• 이 방법은 손실에 대한 필터 가중치에 대한 그래디언트의 L2 노름인 합성곱 그래디언트 노름(CGN)을 사용하여 각 합성곱 필터의 손실 감소 기여도를 평가한다.
• CGN 값이 임계값 τ 이하인 필터는 '버려진' 필터로 간주되며, 학습 도중 새로운 랜덤 가중치로 재초기화된다.
• 재초기화는 배치 단위 간격으로 동적으로 수행되어 네트워크가 모델 크기를 늘리지 않고도 다른 필터 구성 구성을 탐색할 수 있도록 한다.
• 임계값 τ는 매우 작은 값(0에 가까운 값)으로 설정되며, 재초기화 확률 P는 1로 설정되어 있어 기여도가 낮은 모든 필터가 교체된다.
• 이 방법은 학습 기간 동안만 적용되며, 추론 또는 테스트 시 아키텍처에 변화가 없다.
• 이 방법은 CIFAR-10 데이터셋을 대상으로 28x28 Inception-V3 모델과 소형 CraterCNN을 사용하여 RandomOut 유무에 따라 성능을 비교 평가하였다.

실험 결과

연구 질문

• RQ1 낮은 그래디언트 노름을 가진 필터를 식별하고 재초기화하는 것이 CNN의 학습 안정성과 일반화 성능 향상에 기여하는가?
• RQ2 RandomOut는 다양한 랜덤 시드에 의한 테스트 정확도 변동을 어느 정도 감소시키는가?
• RQ3 RandomOut는 파rameter 수를 늘리지 않고도 넓은 네트워크와 동등한 성능을 달성할 수 있는가?
• RQ4 Gradient 다이내믹스와 학습 안정성 측면에서 RandomOut은 배치 정규화와 비교해 어떻게 성능을 내는가?

주요 결과

• RandomOut은 기준 모델 대비 28x28 Inception-V3 모델에서 중앙값 테스트 정확도를 +3.3% 향상시켰다.
• RandomOut를 사용할 경우 랜덤 시드에 따른 성능 변동이 2%에서 1.3%로 감소하여 훨씬 더 일관된 학습 결과를 보였다.
• 다양한 필터 수를 활용한 실험 결과, RandomOut는 네트워크에 1~2개의 추가 필터를 적용한 것과 동등한 성능을 달성하였다.
• RandomOut는 필터를 동적으로 재초기화함에도 불구하고 안정적인 학습 및 테스트 정확도를 유지하였다.
• RandomOut를 적용한 경우 평균 CGN은 시간이 지남에 따라 증가했으며, 이는 필터 활용도 향상을 의미한다. 반면 배치 정규화는 그래디언트를 억제하여 이 증가를 억제하였다.
• 재초기화가 이루어졌음에도 불구하고 성능에 악영향을 주지 않았다. 이는 기여도가 최소인 필터들만 교체되었기 때문이다.