[논문 리뷰] EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing

Jian‐Zhong Sheng, Chuanbo Chen외 2명|arXiv (Cornell University)|2018. 06. 05.

Machine Learning and Data Classification참고 문헌 24인용 수 3

한 줄 요약

이 논문은 기존의 컨볼루션과 풀링을 대체하여 Easy Convolution과 Random Pooling을 사용하는 새로운 기법인 EasyConvPooling(ECP)을 제안한다. ECP는 매 2×2 영역에서 한 픽셀을 무작위로 선택하여 컨벌루션에 사용함으로써 계산량을 75% 감소시켜 학습 시 1.45배, 추론 시 1.64배의 속도 향상을 이룬다. 이는 정확도 저하가 최소한이 된다.

ABSTRACT

Convolution operations dominate the overall execution time of Convolutional Neural Networks (CNNs). This paper proposes an easy yet efficient technique for both Convolutional Neural Network training and testing. The conventional convolution and pooling operations are replaced by Easy Convolution and Random Pooling (ECP). In ECP, we randomly select one pixel out of four and only conduct convolution operations of the selected pixel. As a result, only a quarter of the conventional convolution computations are needed. Experiments demonstrate that the proposed EasyConvPooling can achieve 1.45x speedup on training time and 1.64x on testing time. What's more, a speedup of 5.09x on pure Easy Convolution operations is obtained compared to conventional convolution operations.

연구 동기 및 목표

• 딥 컨볼루션 신경망에서 컨벌루션 연산의 높은 계산 비용이 학습 및 추론 시간을 지배하는 문제를 해결하기 위해.
• 아키텍처 재설계 없이도 학습과 추론 모두에 적용 가능한 보편적이고 경량의 가속 기법을 개발하기 위해.
• 랜덤화된 희소 계산을 통해 뚜렷한 속도 향상과 함께 정확도 저하를 최소화하기 위해.
• 컨볼루션 레이어의 FLOPs와 메모리 액세스를 줄여 자원이 제한된 플랫폼에 효율적으로 배포할 수 있도록 하기 위해.

제안 방법

• 각 2×2 공간 영역에서 한 픽셀을 무작위로 선택하여 전체 블록을 대표하도록 Random Pooling을 도입한다.
• 다음 레이어에서 수행되는 Easy Convolution 연산을 이끌기 위해 선택된 '운좋은'(lucky) 픽셀의 인덱스를 사용한다.
• 선택된 픽셀에 대해서만 컨벌루션을 계산함으로써 기존의 25%로 계산량을 감소시켜 Easy Convolution을 적용한다.
• 선택된 픽셀의 위치와 일치하는 컨벌루션 모드(Mode K)를 유지함으로써 특징 맵의 형태를 유지한다. 이는 공간 일致성을 확보하기 위함이다.
• 풀링 레이어에서 컨벌루션 레이어로의 고정된 인덱스 매핑을 통해 레이어 간 공간적 구조를 유지한다.
• 표준 컨벌루션과 풀링을 ECP 파이프라인으로 대체함으로써 학습 및 추론 가속을 모두 지원한다.

실험 결과

연구 질문

• RQ1 매 2×2 영역에서 한 픽셀을 무작위로 선택하는 것이 컨벌루션 계산량을 크게 줄이면서도 네트워크 성능을 유지할 수 있는가?
• RQ2 ECP 프레임워크에서 랜덤 모드(Mode K)의 선택이 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 기존의 Max/평균 풀링과 비교했을 때 ECP의 성능 향상(속도 향상 및 정확도)은 어떠한가?
• RQ4 ECP는 다양한 네트워크 깊이와 아키텍처에 대해 일관된 속도 향상과 최소한의 정확도 손실을 보이며 보편적으로 적용 가능한가?
• RQ5 Random Pooling과 Easy Convolution의 조합이 각각 단독으로 사용될 경우에 비해 효율성과 수렴성 측면에서 어떻게 다른가?

주요 결과

• ECP는 기존의 CNN과 비교해 학습 시간을 1.45배, 추론 시간을 1.64배 빠르게 하며 정확도 저하가 최소한이다.
• 제안된 방법은 컨벌루션 계산량을 75% 감소시켜 순수한 Easy Convolution 연산에서는 기존 컨벌루션 대비 5.09배의 속도 향상을 달성한다.
• Random Pooling만으로도 학습 및 추론 시간을 줄일 수 있지만, Easy Convolution과의 조합이 훨씬 더 높은 성능 향상을 이룬다.
• 특히 더 깊은 네트워크에서 Max Pooling과 평균 풀링보다 ECP가 더 높은 속도 향상을 보이며, Max Pooling 수준의 정확도 손실만 약간 발생시킨다.
• 선택된 픽셀 인덱스(Mode K)의 선택이 수렴성이나 최종 정확도에 큰 영향을 주지 않아 무작위 선택에 대해 강건함을 보인다.
• 1개 또는 2개의 컨벌루션 레이어 네트워크에서 모두 좋은 수렴 특성을 유지하며, 다양한 아키텍처에 걸쳐 안정성과 일반화 능력을 입증한다.