[논문 리뷰] Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks

Alessandro Giusti, Dan Cireşan외 3명|arXiv (Cornell University)|2013. 02. 07.

Image and Signal Denoising Methods참고 문헌 3인용 수 53

한 줄 요약

이 논문은 슬라이딩 윈도우 추론 중 중복되는 컨볼루션을 제거함으로써 딥 맥스 풀링 컨volution 신경망의 추론 속도를 향상시키는 동적 프로그래밍 기반 이미지 스캐닝 방법을 제안한다. 맥스 풀링 레이어 출력을 분할하여 전체 공간 커버리지를 유지함으로써, 전체 이미지에 걸쳐 효율적이고 중복 없는 전방 전파를 가능하게 하며, 실질적으로 최적화된 GPU 기반 패치 기반 방법 대비 최대 32배의 속도 향상을 달성하고, 큰 네트워크에서는 이론적으로 거의 3개 주기의 속도 향상을 기대할 수 있다.

ABSTRACT

Deep Neural Networks now excel at image classification, detection and segmentation. When used to scan images by means of a sliding window, however, their high computational complexity can bring even the most powerful hardware to its knees. We show how dynamic programming can speedup the process by orders of magnitude, even when max-pooling layers are present.

연구 동기 및 목표

• 영상 분할 및 객체 탐지에 사용되는 딥 컨volution 신경망에서 슬라이딩 윈도우 추론의 높은 계산 비용을 해결한다.
• 겹치는 영상 패치들 간에 반복적으로 컨볼루션을 재계산하는 나머지 패치 기반 평가의 비효율성을 해결한다.
• 정확도를 저하시키지 않으면서도 임의의 혼합된 컨볼루션 및 맥스 풀링 레이어 아키텍처를 다룰 수 있는 일반적인 방법을 개발한다.
• 전체 이미지의 특징 맵을 한 번에 계산하여 중복 계산을 최소화함으로써, 큰 이미지에서 실시간 또는 근접 실시간 추론을 가능하게 한다.
• CPU 기반 패치 기반 방법과 고도로 최적화된 GPU 기반 패치 구현 방식에 비해 뚜렷한 속도 향상을 입증한다.

제안 방법

• 각 입력 이미지당 한 번의 컨볼루션 계산을 수행하는 새로운 기반 이미지 전방 전파 전략을 제안한다. 이는 겹치는 패치마다 계산하는 방식이 아니다.
• 모든 입력 이미지 패치가 확장된 특징 맵에 포함되도록 맥스 풀링 레이어 출력에 대한 분할 기법을 도입한다.
• 맥스 풀된 맵의 각 분할을 독립적인 서브맵으로 간주하여, 모든 가능한 패치 위치에 대한 공간 정보를 유지한다.
• 모든 맥스 풀링 레이어의 분할을 모두 통합했을 때, 입력 이미지의 모든 가능한 패치에 대한 정보가 완전히 포함되도록 보장한다.
• 모든 컨볼루션 및 맥스 풀링 레이어를 반복적으로 재계산하지 않고, 단일 패assing을 통해 전체 입력 이미지에 대해 특징을 전파한다.
• 동적 프로그래밍 원리를 활용하여 전체 이미지에 걸쳐 특징 맵을系통적으로 계산하고 전파함으로써 중복 작업을 방지한다.

실험 결과

연구 질문

• RQ1 딥 CNN을 사용해 큰 이미지를 슬라이딩 윈도우로 스캔할 때, 중복되는 컨볼루션 계산을 어떻게 제거할 수 있는가?
• RQ2 모든 가능한 패치에 대한 정보를 손실 없이 유지하면서 슬라이딩 윈도우 환경에서 맥스 풀링 레이어를 효율적으로 처리하는 방법은 무엇인가?
• RQ3 임의의 혼합된 컨볼루션 및 맥스 풀링 레이어 아키텍처에 대해 일반적인, 패치 기반이 아닌 전방 전파 방법을 설계할 수 있는가?
• RQ4 패치 기반 접근 방식에 비해 전체 이미지 기반 계산이 FLOPS와 추론 시간을 얼마나 줄일 수 있는가?
• RQ5 특히 실질적인 성능 향상 측면에서, 고도로 최적화된 GPU 기반 패치 구현 방식에 비해 제안된 방법의 속도는 어떻게 비교되는가?

주요 결과

• 제안된 기반 이미지 방법은 신경 세포막 분할에 사용된 큰 네트워크에서 패치 기반 방법 대비 FLOPS를 779.8배 감소시켰다.
• 기본적인 MATLAB 구현에서도 512×512 이미지에서 고도로 최적화된 GPU 기반 패치 구현 방식 대비 32.8배의 속도 향상을 달성했다.
• ISBI 전자현미경 영상 분할 챌린지에서 사용된 큰 네트워크와 같은 경우, 거의 이론적 최적의 속도 향상(약 3개 주기)을 달성했다.
• 이 방법은 정확하고 패치 기반 방법과 동일한 결과를 산출하므로 정확도 손실 없이 최적화가 가능하다.
• 기존에 전체 이미지 기반 계산을 방해하는 것으로 간주되던 맥스 풀링 레이어도 분할 기반 처리를 통해 전체 공간 커버리지를 유지하면서 효과적으로 다룰 수 있었다.
• 고수준 언어인 MATLAB을 사용함에도 불구하고 속도 향상이 뚜렷하게 나타나, 성능 향상은 저수준 최적화가 아니라 알고리즘적 효율성에 기인함을 시사한다.