[논문 리뷰] Minimal Effort Back Propagation for Convolutional Neural Networks

Bingzhen Wei, Xu Sun외 2명|arXiv (Cornell University)|2017. 09. 18.

Advanced Neural Network Applications참고 문헌 14인용 수 20

한 줄 요약

이 논문은 크기 기반으로 상위-k 기울기만 선택적으로 역전파하는 방식으로 컨볼루션 신경망의 역전파 계산을 줄이는 meProp-CNN을 제안한다. 전체 기울기의 5%만 사용함에도 불구하고 표준 CNN과 비교해 유사하거나 더 높은 정확도를 달성하며, 과적합에 대한 강건성 향상과 모멘텀 및 배치 정규화와 같은 최적화 기법과의 호환성도 확보한다.

ABSTRACT

As traditional neural network consumes a significant amount of computing resources during back propagation, \citet{Sun2017mePropSB} propose a simple yet effective technique to alleviate this problem. In this technique, only a small subset of the full gradients are computed to update the model parameters. In this paper we extend this technique into the Convolutional Neural Network(CNN) to reduce calculation in back propagation, and the surprising results verify its validity in CNN: only 5\% of the gradients are passed back but the model still achieves the same effect as the traditional CNN, or even better. We also show that the top-$k$ selection of gradients leads to a sparse calculation in back propagation, which may bring significant computational benefits for high computational complexity of convolution operation in CNN.

연구 동기 및 목표

• 컨볼루션 신경망(CNN)에서 역전파의 높은 계산 비용을 줄이기 위해, 컨볼루션 연산에서 비용이 많이 드는 행렬 곱셈이 원인이 되는 문제를 해결하는 것.
• 기존에 완전히 연결된 네트워크용으로 개발된 최소 노력 역전파(meProp) 기법을 CNN에 확장하여 희소 기울기 갱신을 가능하게 하는 것.
• 상위-k 기울기 선택을 통한 희소 역전파가 계산 부담을 크게 줄이면서도 모델 정확도를 유지하거나 향상시키는지 평가하는 것.
• meProp-CNN가 모멘텀 및 배치 정규화와 같은 최적화 기법과의 호환성 여부를 조사하는 것.

제안 방법

• 역전파 중 각 레이어에서 절대 크기 기반으로 상위-k 기울기 값을 선택하고, 나머지 기울기는 모두 0으로 설정함으로써 희소 갱신을 생성한다.
• 이 희소 기울기 갱신은 컨볼루션 레이어에 적용되어 밀도 있는 행렬 곱셈을 희소 연산으로 전환하여, 상위-k 비율에 비례해 계산 비용을 감소시킨다.
• 이 방법은 Adam과 모멘텀이 포함된 확률적 경사 하강법에 통합되며, 수렴 안정성과 희소성의 균형을 맞추기 위해 모멘텀 감쇠 비율을 조정한다.
• 이 방법은 컨볼루션 레이어에만 선택적으로 적용되며, 완전히 연결된 레이어는 전체 기울기를 사용하여 최종 분류 레이어의 성능을 유지한다.
• 약한 관련성을 가진 파라미터를 忽시함으로써 드롭아웃과 유사한 행동을 시뮬레이션하여 과적합을 줄이고 일반화 능력을 향상시킨다.
• 배치 정규화를 적용하여 수렴 속도를 더 빠르게 하고 테스트 정확도를 향상시키며, meProp-CNN와의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 상위-k 기울기 선택 기반의 희소 역전파 방법이 계산 비용을 줄이면서도 CNN에서 모델 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 상위-k 비율의 선택이 CNN에서 수렴, 정확도, 과적합에 대한 강건성에 미치는 영향은 어떠한가?
• RQ3 모멘텀 및 배치 정규화와 같은 최적화 기법과 결합했을 때 meProp-CNN 방법의 효과성이 유지되는가?
• RQ4 특히 더 깊은 또는 완전히 연결된 레이어에서 기울기의 레이어별 분포에 따라 meProp-CNN의 성능이 민감하게 영향을 받는가?

주요 결과

• 역전파 시 전체 기울기의 5%만 사용함에도 불구하고, meProp-CNN는 MNIST에서 99.07%의 테스트 정확도를 달성하여 기준 CNN의 99.02%와 유사하거나 略적으로 높은 성능을 보였다.
• 상위-k = 5% 및 모멘텀 감쇠 비율 0.6 조건에서 99.27%의 테스트 정확도를 기록하여 기준 모델을 초월했으며, 과적합이 감소한 것으로 나타났다.
• 배치 정규화와 조합한 meProp-CNN는 5% 상위-k 기울기 조건에서 99.39%의 테스트 정확도를 달성하여 기준 모델의 99.28%를 초월했다.
• 모멘텀 감쇠 비율 0.6이 0.9보다 더 좋은 결과를 냈으며, 이는 너무 큰 모멘텀이 기울기 다양성을 제한하고 수렴을 방해할 수 있음을 시사한다.
• 여러 실험에서 일관된 성능을 보였으며, 상위-k 비율을 5%에서 10%로 조정해도 전체 역전파와 비교해 안정적이고 종종 향상된 정확도를 기록했다.
• 결과적으로, 덜 관련성이 높은 파라미터의 갱신을 생략함으로써 meProp-CNN는 드롭아웃과 유사하게 과적합을 자연스럽게 줄이며, 높은 모델 용량을 유지한다.