[논문 리뷰] A Fast HOG Descriptor Using Lookup Table and Integral Image

Chunde Huang, Jiaxiang Huang|arXiv (Cornell University)|2017. 03. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 8인용 수 11

한 줄 요약

이 논문은 방향성 기울기 계산을 위한 사전 계산된 룩업 테이블과 적분 영상(integral images)을 사용하여 빠른 HOG 기술자를 제안한다. 삼각함수 계산을 룩업 테이블로 대체하고 적분 영상으로 O(1) 히스토그램 쿼리 기능을 제공함으로써, 표준 HOG 대비 5배에서 10배의 속도 향상을 달성하여 현대 CPU에서 800×600 이미지의 처리 시간을 15ms 이내로 줄였다.

ABSTRACT

The histogram of oriented gradients (HOG) is a widely used feature descriptor in computer vision for the purpose of object detection. In the paper, a modified HOG descriptor is described, it uses a lookup table and the method of integral image to speed up the detection performance by a factor of 5~10. By exploiting the special hardware features of a given platform(e.g. a digital signal processor), further improvement can be made to the HOG descriptor in order to have real-time object detection and tracking.

연구 동기 및 목표

• 실시간 객체 탐지에서 전통적인 HOG 기술자 계산의 계산 병목 현상을 해결한다.
• HOG 파이프라인의 주요 성능 병목 요소인 방향성 기울기 계산의 시간 소모를 줄인다.
• 적분 영상 기반 기법을 통해 슬라이딩 윈도우를 통한 히스토그램 집계를 빠르게 구현하여 영역 기반 특징 추출을 가속화한다.
• 제한된 정밀도와 높은 처리량 요구 사항을 가진 임베디드 시스템 및 DSP 플랫폼에 최적화된 HOG 파이프라인을 확보한다.
• 정확도 손실 없이 표준 및 임베디드 하드웨어에서 실시간 성능을 달성한다.

제안 방법

• 비용이 많이 드는 삼각함수 연산을 대체하기 위해 (dx, dy) 기울기 쌍의 크기와 방향을 위한 사전 계산된 511×511 룩업 테이블을 생성한다.
• 기울기 크기를 1로 설정한 단순화된 HOG 변종을 사용하여 계산을 줄이고 방향성 바인(bin)에 집중한다.
• 기울기 방향을 N_b개의 바인(예: 8 또는 9개)으로 이산화하고, 각 픽셀을 해당 바인에 할당한다.
• 각 바인에 대해 별도의 이진 영상(1개의 바인당 1개)을 구성하며, 픽셀의 기울기 방향이 해당 바인에 속하면 1, 그렇지 않으면 0으로 설정한다.
• 각 바인 전용 영상에 대해 적분 영상(합산 영역 표) 기법을 적용하여 일정 시간 내 직사각형 영역의 합을 빠르게 계산할 수 있도록 한다.
• 적분 영상 기반으로 어떤 직사각형 영역의 히스토그램 카운트를 영역 크기와 무관하게 O(N_b) 시간에 계산한다.

실험 결과

연구 질문

• RQ1 루크업 테이블을 사용하면 HOG 기술자에서 방향성 기울기 계산에 소요되는 시간을 크게 줄일 수 있는가?
• RQ2 적분 영상 기법이 HOG 특징 추출에서 슬라이딩 윈도우를 통한 히스토그램 계산을 효과적으로 가속화하는 데 유용한가?
• RQ3 루크업 테이블과 적분 영상을 조합한 HOG 파이프라인에서 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ4 표준 및 임베디드 프로세서에서 실시간 동작을 위해 HOG 기술자를 얼마나 최적화할 수 있는가?
• RQ5 최적화된 HOG 기능을 사용할 때 기울기 크기 정보를 생략하면 탐지 성능에 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 OpenCV 구현 대비 HOG 특징 추출 속도를 5배에서 10배 빠르게 한다.
• 800×600 이미지의 경우, 일반 데스크톱에서 인텔 i5 CPU를 사용할 때 약 30ms 내외로 처리된다.
• 64비트 컴파일을 사용하면 동일한 이미지 크기에서 처리 시간이 약 15ms로 감소한다.
• 더 작은 입력 크기(352×288)에서는 처리 시간이 8ms 이내로 떨어지고, 64비트 코드를 사용하면 5ms 이하로 감소한다.
• 특히 최적화된 저정밀도 데이터 형식과 결합할 경우, 표준 및 임베디드 플랫폼에서 실시간 객체 탐지가 가능해진다.
• 기울기 크기 정보를 생략해도 탐지 성능에 미미한 영향을 미치며, 정확도 손실 없이 추가적인 속도 향상을 달성할 수 있다.