[논문 리뷰] Fast Feature Extraction with CNNs with Pooling Layers

Christian Bailer, Tewodros Habtegebrial외 2명|arXiv (Cornell University)|2018. 05. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 9

한 줄 요약

이 논문은 풀링 또는 스트라이딩 레이어를 갖는 CNN에서 겹치는 이미지 패치 간의 중복 계산을 제거하여 밀도 높은 특징 추출을 가속화하는 일반적인 방법을 제안한다. 전체 이미지 추론을 위해 네트워크를 재구성하기 위해 전치 및 리쉐이프 연산을 적용함으로써, 패치 기반 추론 대비 최대 3216배의 속도 향상을 달성하며, 이로 인해 상태의 기준 CNN 특징은 1장당 0.12초 이내로 계산 가능해진다.

ABSTRACT

In recent years, many publications showed that convolutional neural network based features can have a superior performance to engineered features. However, not much effort was taken so far to extract local features efficiently for a whole image. In this paper, we present an approach to compute patch-based local feature descriptors efficiently in presence of pooling and striding layers for whole images at once. Our approach is generic and can be applied to nearly all existing network architectures. This includes networks for all local feature extraction tasks like camera calibration, Patchmatching, optical flow estimation and stereo matching. In addition, our approach can be applied to other patch-based approaches like sliding window object detection and recognition. We complete our paper with a speed benchmark of popular CNN based feature extraction approaches applied on a whole image, with and without our speedup, and example code (for Torch) that shows how an arbitrary CNN architecture can be easily converted by our approach.

연구 동기 및 목표

• 이미지 작업에서 겹치는 패치에 CNN를 적용할 때 발생하는 중복 계산의 비효율성 해결.
• 풀링 또는 스트라이딩 레이어의 성능 손실 없이 전체 이미지에서 빠른 밀도 높은 특징 추출을 가능하게 하기.
• 광범위하게 적용 가능한 솔루션 제공 — 옵티컬 플로우, 스테레오 매칭, 객체 검출 등의 작업에서 사용되는 기존 CNN 아키텍처에 적용 가능.
• 패치 단위 추론이나 풀링 레이어를 피하기 위한 아키텍처 제약을 제거하기.

제안 방법

• 풀링/스트라이딩 레이어를 갖는 사전 훈련된 CNN을 전치 및 리쉐이프 연산을 사용해 단일 이미지 추론 네트워크로 재구성하기.
• 다중 척도 풀링 레이어 도입 — 다중 이동된 위치에서 최대 풀링을 적용해 다운샘플링 후 해상도 유지하기.
• 패딩 및 차원 조작을 통해 다양한 공간 위치 간의 특징 맵 정렬하여 공유 계산 가능하게 하기.
• 기존 네트워크의 레이어를 전용 풀링 및 리쉐이프 레이어와 번갈아 배치하여 전체 이미지 네트워크(C_I) 구축하기.
• 모든 이동된 형태의 풀링 연산을 생성하는 다중 풀링 전략 적용 — 해상도 손실 방지하기.
• 프레임워크 내장 연산(예: Torch에서의 연산)을 활용해 변환을 효율적이고 재현 가능하게 구현하기.

실험 결과

연구 질문

• RQ1 풀링 또는 스트라이딩 레이어가 존재할 경우 패치 기반 CNN 추론에서 중복 계산을 제거할 수 있는가?
• RQ2 기존 CNN 아키텍처를 재설계 없이 전체 이미지에서 빠르고 밀도 높은 특징 추출을 위한 적용이 가능한가?
• RQ3 패치 기반 추론 대비 전체 이미지를 한 번에 처리하도록 CNN을 재구성했을 때, 얼마나 많은 속도 향상을 기대할 수 있는가?
• RQ4 제안된 방법은 옵티컬 플로우 및 스테레오 매칭 등의 작업에서 추론 시간을 극적으로 줄이면서도 특징 품질을 유지할 수 있는가?

주요 결과

• 큰 이미지에서 패치 기반 추론 대비 최대 3216배의 속도 향상을 달성했으며, 864×576 이미지의 경우 추론 시간이 0.113초로 단축됨.
• 다중 풀링 레이어를 포함한 상태의 기준 CNN 특징을 1장당 0.12초 이내로 밀도 높은 특징 추출이 가능함.
• 메모리 사용량은 관리 가능하며, 최고 메모리 소비량은 9850 MB로, 기준 패치 기반 추론(11495 MB) 대비 낮음.
• 거의 모든 기존 CNN 아키텍처와 호환되며, 옵티컬 플로우, 스테레오 매칭, 슬라이딩 윈도우 검출 등의 작업에 적용 가능.
• 벤치마크 결과, 테스트된 이미지 평균 기준으로 전체 이미지 네트워크(C_I)는 패치 기반 추론(C_P) 대비 1760배 빠른 성능을 보임.
• 풀링 레이어를 폐기하거나 중복 계산을 수행할 필요 없이 실용적이고 효율적인 대안을 제공함.