[논문 리뷰] Flattened Convolutional Neural Networks for Feedforward Acceleration

Jonghoon Jin, Ayşegül Dündar외 1명|arXiv (Cornell University)|2014. 12. 17.

Advanced Neural Network Applications참고 문헌 18인용 수 207

한 줄 요약

이 논문은 3D 컨볼루션 필터를 채널, 수직 및 수평 방향으로 순차적인 1D 컨볼루션으로 대체하는 평탄화된 컨볼루션 신경망을 제안한다. 이로 인해 유사하거나 더 높은 정확도를 유지하면서 약 2배의 추론 속도 향상을 이룩했으며, 파라미터 수는 최대 10배까지 감소시켰다. 후처리 또는 수동 튜닝 없이도 성능을 유지를 할 수 있다.

ABSTRACT

We present flattened convolutional neural networks that are designed for fast feedforward execution. The redundancy of the parameters, especially weights of the convolutional filters in convolutional neural networks has been extensively studied and different heuristics have been proposed to construct a low rank basis of the filters after training. In this work, we train flattened networks that consist of consecutive sequence of one-dimensional filters across all directions in 3D space to obtain comparable performance as conventional convolutional networks. We tested flattened model on different datasets and found that the flattened layer can effectively substitute for the 3D filters without loss of accuracy. The flattened convolution pipelines provide around two times speed-up during feedforward pass compared to the baseline model due to the significant reduction of learning parameters. Furthermore, the proposed method does not require efforts in manual tuning or post processing once the model is trained.

연구 동기 및 목표

• 실시간 및 모바일 응용 분야에서 큰 컨볼루션 신경망(CNN)의 계산 비효율성을 해결한다.
• 모델 정확도를 훼손하지 않으면서 3D 컨볼루션 필터의 파라미터 중복을 줄인다.
• 학습 중에 3D 필터를 순차적인 1D 컨볼루션으로 재구성함으로써 피드포워드 추론 속도를 가속화한다.
• 스마트폰 및 임베디드 시스템과 같은 자원 제약이 있는 장치에 효율적으로 배포할 수 있도록 한다.
• 성능을 유지하면서도 학습 후 최적화 또는 수동 하이퍼파라미터 튜닝이 필요 없는 방법을 개발한다.

제안 방법

• 각 3D 컨볼루션 필터를 채널(횡방향), 수직 및 수평 방향으로 순차적인 3개의 1D 컨볼루션으로 대체한다.
• 제약된 경로를 통해 역전파를 유지하면서, 평탄화된 1D 구조로 네트워크를 종단 간(end-to-end)으로 훈련시킨다.
• 추가 정규화 또는 희소성 제약 없이 표준 훈련 절차를 사용한다.
• 1D 컨볼루션에서의 메모리 접근 통합 및 계산 감소를 활용하여 추론 속도를 가속화한다.
• CPU 및 GPU 모두에서 최적화된 1D 컨볼루션 루틴을 구현하여 성능 향상을 극대화한다.
• 일관된 아키텍처를 여러 데이터셋에 적용하여 일반화 및 효율성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 3D 컨볼루션 필터를 순차적인 1D 컨볼루션으로 대체할 경우 분류 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 평탄화된 1D 구조는 파라미터 수를 얼마나 줄이고 피드포워드 추론 속도를 얼마나 가속화하는가?
• RQ3 제안된 방법은 학습 후 압축 또는 수동 하이퍼파라미터 튜닝이 필요 없음을 보장하는가?
• RQ4 입력 이미지 크기와 하드웨어 플랫폼(CPU 대비 GPU)에 따라 속도 향상은 어떻게 스케일링되는가?
• RQ5 평탄화된 아키텍처는 CIFAR-10, CIFAR-100, MNIST와 같은 다양한 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• CIFAR-10에서 평탄화된 모델은 테스트 정확도 87.04%를 기록했으며, 기준 모델(86.42%)을 略으로 뛰어넘었다.
• CIFAR-100에서는 기준 모델의 60.08% 대비 평탄화된 모델이 60.92%의 정확도를 달성하여 일반화 능력 향상을 보였다.
• MNIST에서는 기준 모델의 99.62%에 비해 약간 낮은 99.56%의 정확도를 기록했지만, 파라미터 수가 크게 감소했다.
• 모든 테스트된 이미지 크기에서 CPU 및 GPU 모두에서 평탄화된 모델은 피드포워드 추론 속도를 약 2배로 가속화했다.
• 이 속도 향상은 더 큰 이미지 크기에서 계산 및 메모리 접근의 상대적 오버헤드가 감소함에 따라 증가했다.
• GPU에서 역전파에는 최소한의 속도 향상이 있었는데, 이는 기울기 누적 중 빈번한 전역 메모리 접근으로 인한 것이었지만, CPU 및 GPU 양쪽에서 훈련 시간은 여전히 감소했다.