[논문 리뷰] RandomOut: Using a convolutional gradient norm to win The Filter Lottery.

Joseph Cohen, Henry Z. Lo외 1명|arXiv (Cornell University)|2016. 02. 18.

Advanced Neural Network Applications참고 문헌 4인용 수 6

한 줄 요약

이 논문은 예측 오차에 미치는 영향이 최소한인 필터를 동적으로 재초기화하는 RandomOut이라는 방법을 제안한다. 이는 네트워크 크기를 늘리지 않고도 모델 정확도를 최대 1.8% 향상시킨다. 성능이 열악한 필터에 초점을 맞추어, 필터 설정 탐색을 더 효율적으로 하여 이동 기기 배포에 적합한 더 컴act하고 계산 효율적인 모델을 가능하게 한다.

ABSTRACT

Convolutional neural networks are sensitive to the random initialization of filters. We call this The Filter Lottery (TFL) because the random numbers used to initialize the network determine if you will win and converge to a satisfactory local minimum. This issue forces networks to contain more filters (be wider) to achieve higher accuracy because they have better odds of being transformed into highly discriminative features at the risk of introducing redundant features. To deal with this, we propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy across two datasets by up to 1.8%. Our scheme RandomOut allows us to increase the number of filters explored without increasing the size of the network. This yields more compact networks which can train and predict with less computation, thus allowing more powerful CNNs to run on mobile devices.

연구 동기 및 목표

• 무작위 필터 초기화가 모델 수렴과 성능에 큰 영향을 미치는 '필터 로또 문제'를 해결하기 위해.
• 예측에 기여도가 낮은 필터를 식별하고 교체하여 넓은 네트워크의 필요성을 줄이기 위해.
• 모델 크기나 계산 비용을 늘리지 않고도 정확도와 효율성을 향상시키기 위해.
• 기울기 노름을 기반으로 한 동적 재초기화를 통해 필터 설정 탐색을 더 효과적으로 수행하기 위해.

제안 방법

• 모델 역전파 과정에서 각 컨볼루션 필터의 오차 기여도를 기울기의 L2 노름을 사용해 평가한다.
• 기울기 노름이 사전 정의된 임계값 이하인 필터는 예측에 미치는 영향이 최소임을 식별한다.
• 이러한 저기여 필터는 새로운 무작위 가중치로 재초기화되어 다른 특징 학습 경로를 탐색한다.
• 재초기화는 학습 중에 적용되어 네트워크가 시간이 지남에 따라 필터 품질을 동적으로 향상시킬 수 있도록 한다.
• 탐색과 안정성의 균형을 위해 재초기화 임계값은 경험적으로 설정된다.
• 아키텍처 변경 없이 여러 레이어와 데이터셋에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 낮은 기울기 노름을 가진 필터를 식별하고 재초기화함으로써 네트워크 크기를 늘리지 않고도 CNN 성능을 향상시킬 수 있는가?
• RQ2 동적 필터 재초기화는 높은 정확도를 달성하기 위해 넓은 네트워크에 대한 의존도를 줄일 수 있는가?
• RQ3 기울기 노름은 컨볼루션 레이어에서 필터 중요도를 신뢰할 만한 지표로 활용할 수 있는가?
• RQ4 이 방법은 더 효율적인 모델을 만들어 더 빠르게 학습하고 더 적은 계산 자원을 요구할 수 있는가?
• RQ5 표준 CNN에서 선택적 필터 재초기화를 통해 달성 가능한 최대 정확도 향상은 얼마인가?

주요 결과

• RandomOut은 네트워크 너비를 늘리지 않고도 두 가지 벤치마크 데이터셋에서 최대 1.8%의 정확도 향상을 달성한다.
• 이 방법은 다양한 아키텍처와 학습 환경에서 일관되게 성능 향상을 이룬다.
• 저기여 필터만 재초기화함으로써 모델 크기를 유지하면서도 특징 학습 효율성을 향상시킨다.
• 이 기법은 필터 설정 탐색을 더 효과적으로 가능하게 하여 넓은 네트워크에 대한 의존도를 감소시킨다.
• 결과적으로 더 컴act하고 계산 효율적인 모델이 만들어져 이동 기기 배포에 적합하다.
• 기울기 노름은 예측에 기여도가 낮은 필터를 식별하는 데 신뢰할 만하고 효과적인 지표로 입증된다.