[논문 리뷰] Highly Efficient Forward and Backward Propagation of Convolutional Neural Networks for Pixelwise Classification

Hongsheng Li, Rui Zhao외 1명|arXiv (Cornell University)|2014. 12. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 14인용 수 68

한 줄 요약

이 논문은 겹치는 이미지 패치 간의 중복 계산을 제거함으로써 픽셀 단위 분류 작업을 위한 합성곱 신경망(CNN)의 매우 효율적인 전방 및 역방향 전파 알고리즘을 제안한다. d-정규로 희소한 커널을 사용하여 GPU 메모리 접근을 연속적으로 유지함으로써, 패치 단위 스캔 대비 전방 및 역방향 전파에서 1,500배 이상의 속도 향상을 달성하였으며, 이미지 및 패치 크기가 증가할수록 더 큰 성능 향상이 이루어진다.

ABSTRACT

We present highly efficient algorithms for performing forward and backward propagation of Convolutional Neural Network (CNN) for pixelwise classification on images. For pixelwise classification tasks, such as image segmentation and object detection, surrounding image patches are fed into CNN for predicting the classes of centered pixels via forward propagation and for updating CNN parameters via backward propagation. However, forward and backward propagation was originally designed for whole-image classification. Directly applying it to pixelwise classification in a patch-by-patch scanning manner is extremely inefficient, because surrounding patches of pixels have large overlaps, which lead to a lot of redundant computation. The proposed algorithms eliminate all the redundant computation in convolution and pooling on images by introducing novel d-regularly sparse kernels. It generates exactly the same results as those by patch-by-patch scanning. Convolution and pooling operations with such kernels are able to continuously access memory and can run efficiently on GPUs. A fraction of patches of interest can be chosen from each training image for backward propagation by applying a mask to the error map at the last CNN layer. Its computation complexity is constant with respect to the number of patches sampled from the image. Experiments have shown that our proposed algorithms speed up commonly used patch-by-patch scanning over 1500 times in both forward and backward propagation. The speedup increases with the sizes of images and patches.

연구 동기 및 목표

• 겹치는 패치로 인해 발생하는 막대한 중복 계산으로 인해 패치 단위 스캔 방식이 CNN 기반 픽셀 단위 분류에서 비효율적인 문제를 해결한다.
• 높은 계산 비용으로 인해 실시간 응용 분야(예: 이미지 세그멘테이션, 객체 검출, 장면 레이블링)에서 성능 저하가 발생하는 문제를 해결한다.
• 역방향 전파를 대규모 스케일에서 계산 가능하게 함으로써 픽셀 단위 작업을 위한 효율적인 종단 간 학습을 가능하게 한다.
• 다양한 CNN 아키텍처와 풀링/컨볼루션 구성에 호환되는 일반 목적의 솔루션을 제공하며, 특히 큰 이미지와 패치에 대해 유용하다.
• 빠른 일정 복잡도의 역방향 전파를 통해 동적이고 오류 유도적인 훈련 패치 선택을 가능하게 한다.

제안 방법

• 임의의 스트라이드를 가진 표준 컨볼루션 및 풀링 연산을 재구성하여 중복을 제거하는 d-정규로 희소한 커널을 도입한다.
• 겹치는 패치의 규칙적인 희소성 패턴을 활용하여 컨볼루션 및 풀링을 GPU에서 연속적인 메모리 접근 연산으로 재구성한다.
• 최종 CNN 레이어의 오차 맵에 마스크를 적용하여 역방향 전파 시 패치의 일부만 선택적으로 샘플링함으로써 일정한 계산 복잡도를 유지한다.
• 커널 재구성 및 메모리 접근 최적화를 통해 정확한 기울기 계산을 유지함으로써 패치 단위 스캔과 수치적으로 동일한 결과를 확보한다.
• 최대 대역폭 활용과 최소 지연 시간을 달성하기 위해 GPU에 최적화된 커널을 설계한다.
• d-정규로 희소한 프레임워크를 통해 커널 및 스트라이드 구성 설정을 동적으로 조정함으로써 임의의 입력 패치 크기와 네트워크 아키텍처를 지원한다.

실험 결과

연구 질문

• RQ1 픽셀 단위 분류에서 겹치는 이미지 패치 간의 중복 계산을 전방 및 역방향 전파에서 완전히 제거할 수 있는 방법은 무엇인가?
• RQ2 수치 정확도를 희생시키지 않고 다양한 CNN 아키텍처와 패치 크기에서 고성능을 달성할 수 있는 일반 목적의 알고리즘을 설계할 수 있는가?
• RQ3 최적화된 커널 구조와 메모리 접근 패턴을 사용할 때, 픽셀 단위 분류의 전방 및 역방향 전파에서 달성 가능한 최대 속도 향상은 얼마인가?
• RQ4 오차 맵 마스킹을 통해 역방향 전파가 샘플링된 패치의 수에 독립적이게 만들 수 있는가? 이는 대규모 데이터셋에서의 효율적 훈련을 가능하게 하는가?
• RQ5 이러한 방법은 이미지 및 패치 크기가 증가함에 따라 어떻게 스케일업되는가? 실질적으로 기존의 패치 단위 스캔 방식과 비교해 볼 때 어떤가?

주요 결과

• 제안된 알고리즘은 표준 패치 단위 스캔 대비 전방 및 역방향 전파에서 1,500배 이상의 속도 향상을 달성하였으며, 다양한 이미지 및 패치 크기에서 검증되었다.
• 이미지 및 패치 차원이 커질수록 속도 향상이 증가하여, $644 \times 644$ 이미지에 $133 \times 133$ 패치를 사용할 경우 최대 1,815.9×의 속도 향상을 기록하였다.
• 오차 마스크를 사용한 역방향 전파에서는 선택된 패치 수에 관계없이 일정한 계산 복잡도를 유지하며, 128, 512, 1024개의 픽셀을 테스트한 결과 하위 집합에서의 효율적 훈련이 가능했다.
• 제안된 방법과 패치 단위 스캔 간의 수치적 차이는 $10^{-6}$ 이하로 유지되어 기울기 계산의 정확한 동일성을 확인하였다.
• 이 방법은 GPU에서 연속적인 메모리 접근을 가능하게 하여 대역폭 활용도를 크게 향상시키고 지연 시간을 감소시켰으며, 특히 대규모 추론 및 훈련에서 두드러진 효과를 보였다.
• 이 프레임워크는 동영상 분석에서 더 높은 중복성이 존재하는 3D 컨볼루션 및 풀링으로도 확장 가능하여 시간적 작업에서 더욱 높은 속도 향상을 기대할 수 있다.