[논문 리뷰] On Vectorization of Deep Convolutional Neural Networks for Vision Tasks

Jimmy Ren, Xu Li|arXiv (Cornell University)|2015. 01. 29.

Advanced Neural Network Applications참고 문헌 19인용 수 30

한 줄 요약

이 논문은 시각 작업 전반에서 학습 및 추론 속도를 향상시키기 위해 딥 컨volution 신경망(CNN)에 대한 체계적인 벡터화 프레임워크를 제안한다. CNN 연산을 행렬 및 벡터 연산으로 재구성함으로써 저자들은 MATLAB에서 여섯 가지 벡터화 변종을 구현하여, 학습과 테스트 간 최적의 배치 크기가 상당히 다름을 입증하고, 최첨단 성능을 보이는 통합 프레임워크를 제공한다. 이 프레임워크는 고수준(예: 검출) 및 저수준(예: 노이즈 제거) 시각 작업을 모두 지원한다.

ABSTRACT

We recently have witnessed many ground-breaking results in machine learning and computer vision, generated by using deep convolutional neural networks (CNN). While the success mainly stems from the large volume of training data and the deep network architectures, the vector processing hardware (e.g. GPU) undisputedly plays a vital role in modern CNN implementations to support massive computation. Though much attention was paid in the extent literature to understand the algorithmic side of deep CNN, little research was dedicated to the vectorization for scaling up CNNs. In this paper, we studied the vectorization process of key building blocks in deep CNNs, in order to better understand and facilitate parallel implementation. Key steps in training and testing deep CNNs are abstracted as matrix and vector operators, upon which parallelism can be easily achieved. We developed and compared six implementations with various degrees of vectorization with which we illustrated the impact of vectorization on the speed of model training and testing. Besides, a unified CNN framework for both high-level and low-level vision tasks is provided, along with a vectorized Matlab implementation with state-of-the-art speed performance.

연구 동기 및 목표

• 다양한 수준의 벡터화가 딥 CNN 학습 및 추론 속도에 미치는 영향을 조사하는 것.
• 고수준(예: 분류) 및 저수준(예: 노이즈 제거) 시각 작업을 모두 지원하는 통합 계산 프레임워크를 개발하는 것.
• 고성능을 달성하고 하드웨어 이식을 용이하게 하기 위해 투명하고 벡터화된 MATLAB 구현(VCNN)을 제공하는 것.
• 학습과 테스트 간 최적의 배치 크기를 규명하는 것. 이는 런타임 효율성에 상당한 영향을 미친다.

제안 방법

• 컨볼루션, 풀링, ReLU, 완전 연결층과 같은 핵심 CNN 연산을 행렬 및 벡터 연산으로 재구성하여 효율적 병렬 처리를 가능하게 한다.
• 기본에서 최적화까지 증가하는 수준의 벡터화를 가진 여섯 가지 CNN 변종을 구현하여 성능 트레이드오프를 비교한다.
• 소규모 배치 처리를 사용해 다수의 입력 샘플을 통해 벡터화하여 GPU 스타일의 효율적 병렬 실행을 가능하게 한다.
• 다양한 입력 크기를 공유하는 단일 네트워크 아키텍처를 설계하여 배경 노이즈 없이 다중 해상도 객체 검출을 효율적으로 수행한다.
• 풀링 및 완전 연결층을 제거하여 이미지 노이즈 제거 및 디컨volution과 같은 저수준 시각 작업에 벡터화 프레임워크를 적용한다.
• 다양한 입력 치수에서의 가중치 공유를 활용하여 가변 크기 입력을 사용하는 다중 객체 검출을 위한 새로운 학습 방식을 개발한다.

실험 결과

연구 질문

• RQ1 벡터화 수준을 다양하게 조절할 경우 딥 CNN의 학습 및 추론 속도에 어떤 영향을 미치는가?
• RQ2 딥 CNN에서 학습과 테스트 간 최적의 배치 크기는 무엇이며, 이는 네트워크 아키텍처에 따라 어떻게 달라지는가?
• RQ3 단일 벡터화된 CNN 프레임워크가 고수준 시각 작업(예: 분류)과 저수준 시각 작업(예: 노이즈 제거)을 모두 효율적으로 처리할 수 있는가?
• RQ4 배경 노이즈를 유발하거나 회귀 기반 접근법이 필요 없이, 이질적인 입력 크기를 단일 CNN 모델에서 효과적으로 처리할 수 있는가?
• RQ5 실시간 객체 검출 시스템에서 벡터화된 행렬 연산의 성능 향상은 어느 정도인가?

주요 결과

• 학습과 테스트 간 최적의 배치 크기는 심지어 동일한 네트워크에서도 상당히 다름을 보이며, 학습용 배치 크기를 그대로 재사용할 경우 상당한 속도 손실이 발생한다.
• 핵심 CNN 연산을 행렬 및 벡터 기본 연산으로 벡터화함으로써 높은 병렬성을 달성하고 MATLAB 기반 구현에서 최첨단 성능을 달성한다.
• 제안된 벡터화 프레임워크는 단일 통합 아키텍처 내에서 고수준 작업(예: 다중 객체 검출)과 저수준 작업(예: 이미지 노이즈 제거 및 블러 제거)을 성공적으로 지원한다.
• 가변 크기 입력과 계층 간 가중치 공유를 활용한 새로운 학습 방식은 실시간 다중 해상도 검출에서 잘못된 경고를 줄이고 효율성을 향상시킨다.
• 여섯 가지 구현된 벡터화 수준 간 성능 차이가 명확하게 측정되었으며, 이는 벡터화 전략이 런타임 효율성에 직접적인 영향을 미친다는 것을 확인한다.
• 벡터화된 MATLAB 구현(VCNN)은 높은 성능을 달성했으며 공개되어 있어 다른 플랫폼 및 하드웨어로의 이식이 가능하다.