[논문 리뷰] DenseNet: Implementing Efficient ConvNet Descriptor Pyramids

Forrest Iandola, Matthew W. Moskewicz외 4명|arXiv (Cornell University)|2014. 04. 07.

Advanced Neural Network Applications참고 문헌 14인용 수 657

한 줄 요약

DenseNet는 사전 훈련된 분류기에서 조밀하고 다중 척도의 컨볼루션 신경망(CNN) 특징 피라미드를 효율적으로 계산하는 시스템을 제안하여, 겹치는 영역 간의 공유 특징 계산을 재사용함으로써 빠르고 정확한 객체 검출을 가능하게 한다. 기존의 영역별 CNN 추론 방식에 비해 10배 빠른 성능을 기록하여 NVIDIA K20 GPU에서 2000개의 영역 제안을 10초에서 1초로 단축하면서도 특징의 정밀도를 유지한다.

ABSTRACT

Convolutional Neural Networks (CNNs) can provide accurate object classification. They can be extended to perform object detection by iterating over dense or selected proposed object regions. However, the runtime of such detectors scales as the total number and/or area of regions to examine per image, and training such detectors may be prohibitively slow. However, for some CNN classifier topologies, it is possible to share significant work among overlapping regions to be classified. This paper presents DenseNet, an open source system that computes dense, multiscale features from the convolutional layers of a CNN based object classifier. Future work will involve training efficient object detectors with DenseNet feature descriptors.

연구 동기 및 목표

• 슬라이딩 윈도우 기반 객체 검출에 사용되는 CNN의 높은 계산 비용 문제를 해결하기 위해, 영역 제안 수에 따라 비례적으로 증가하는 계산 복잡도를 개선하고자 한다.
• 다양한 척도와 다양한 종횡비를 가진 영역 제안을 위해 사전 훈련된 CNN에서 효율적인 조밀한 특징 추출을 가능하게 하고자 한다.
• 연구 및 개발을 위한 객체 검출 분야에서 활용 가능한 오픈소스이자 상호운용성이 뛰어난 Caffe와 통합된 구현을 제공하고자 한다.
• 조밀하게 계산된 특징이 영역별 CNN 기반 특징과 얼마나 정확히 근사되는지 검증하고 성능 손실를 최소화하고자 한다.
• 공유되고 다중 척도의 CNN 특징을 활용하여 향후 효율적인 객체 검출기 학습을 지원하고자 한다.

제안 방법

• DenseNet는 전체 이미지에 대해 한 번의 순방향 전파로 전체 특징 피라미드를 계산하여 겹치는 영역 간의 중복 계산을 방지한다.
• 정확도 손실이 크지 않은 점을 감안해, 채널별 평균 이미지 차감 방식 대신 단순한 평균 픽셀 값 차감 방식을 사용하여 입력 특징을 중심화함으로써 복잡도를 감소시킨다.
• 입력 이미지를 사전에 다양한 종횡비로 변형한 후 특징 추출을 수행함으로써 비정사각형 영역 제안을 지원한다.
• 다양한 척도에서 입력 이미지의 스케일을 줄이고 변형한 버전에 동일한 CNN을 적용하여 특징 피라미드를 구성한다.
• MATLAB 및 Python API를 제공하여 Caffe 딥러닝 프레임워크에 통합된 구현을 통해 검출 파이프라인 내에서 쉽게 활용할 수 있도록 한다.
• 사전 훈련된 CNN(예: AlexNet)의 수신 영역과 특징 계층의 특성을 활용하여 공간적으로 조밀한 풍부한 특징 기반 기술자(Descriptor)를 추출한다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 활용한 슬라이딩 윈도우 기반 객체 검출에 실용적인 수준으로 도달하기 위해, 조밀하고 다중 척도의 CNN 특징 피라미드를 얼마나 효율적으로 계산할 수 있는가?
• RQ2 단일 영역에서 계산된 CNN 기반 기술자와 비교했을 때, 조밀하게 계산된 특징은 얼마나 정확히 근사되는가?
• RQ3 특징 추출 과정에서 다수의 종횡비와 척도 수준을 지원하기 위한 계산 오버헤드는 어느 정도인가?
• RQ4 정확도 저하 없이 전체 평균 이미지 차감 방식을 단순화된 평균 픽셀 값 기반 방식으로 대체할 수 있는가?
• RQ5 오픈소스로 제공되는 Caffe 통합 시스템은 CNN 기반 객체 검출기의 빠른 프로토타이핑 및 비교를 가능하게 하는가?

주요 결과

• NVIDIA K20 GPU에서 2000개의 영역 제안을 계산하는 데 소요되는 시간을 10초에서 1초로 단축하여 10배의 속도 향상을 달성했다.
• 단일 평균 픽셀 값 기반 중심화 방식을 사용했을 때, 전체 평균 이미지 차감 방식 대비 상위 1위 정확도가 0.2% 뿐 감소하여 단순화의 타당성을 입증했다.
• 시각적 비교 결과, DenseNet이 사전 계산한 피라미드에서 추출한 기술자가 각각 독립적으로 계산된 기술자와 시각적으로 유사한 것으로 나타나 정밀도가 높음을 확인했다.
• 입력 이미지를 사전에 변형하여 다양한 종횡비를 지원함으로써, 영역 제안에 대한 영역 제안에 대한 영역 제안에 대한 영역 제안에 대한 유연한 검출 파이프라인 통합이 가능하다.
• Caffe와의 오픈소스 통합 및 MATLAB/Python API 제공로 DPM 및 R-CNN과 같은 기존 검출 프레임워크와의 상호운용성이 향상되었다.
• 겹치는 영역 간 특징 재사용을 통해 효율적인 특징 재사용이 가능해져, 대규모 조밀한 CNN 기반 검출이 실현 가능해졌다.