[논문 리뷰] Fast Object Localization Using a CNN Feature Map Based Multi-Scale Search

Hyungtae Lee, Heesung Kwon외 2명|arXiv (Cornell University)|2016. 04. 12.

Advanced Neural Network Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 깊이 신경망 특징 맵에서 다중 척도 및 다중 종횡비 탐색을 통해 실시간 객체 위치 지정 방법을 제안한다. 영역 제안을 생략함으로써, 다양한 하위 창 크기와 종횡비에 맞는 전용 완전 연결 '전문가' 유닛을 활용하여, PASCAL VOC 12에서 이전 방법 대비 mAP을 2.4% 향상시키고, MSCOCO에서 2.6% 향상시키며, 추론 속도는 4 fps를 달성한다. 이는 계산 시간을 크게 단축시킨다.

ABSTRACT

Object localization is an important task in computer vision but requires a large amount of computational power due mainly to an exhaustive multiscale search on the input image. In this paper, we describe a near real-time multiscale search on a deep CNN feature map that does not use region proposals. The proposed approach effectively exploits local semantic information preserved in the feature map of the outermost convolutional layer. A multi-scale search is performed on the feature map by processing all the sub-regions of different sizes using separate expert units of fully connected layers. Each expert unit receives as input local semantic features only from the corresponding sub-regions of a specific geometric shape. Therefore, it contains more nearly optimal parameters tailored to the corresponding shape. This multi-scale and multi-aspect ratio scanning strategy can effectively localize a potential object of an arbitrary size. The proposed approach is fast and able to localize objects of interest with a frame rate of 4 fps while providing improved detection performance over the state-of-the art on the PASCAL VOC 12 and MSCOCO data sets.

연구 동기 및 목표

• 깊이 신경망에서 전수적 다중 척도 객체 위치 지정의 높은 계산 비용을 해결하기 위해.
• 영역 제안이나 느린 R-CNN 기반 파이프라인에 의존하지 않고도 위치 지정 정확도를 향상시키기 위해.
• 영상 또는 스트리밍 응용 프로그램에서 실시간 추론(4 fps)을 가능하게 하기 위해.
• 다른 객체 척도 및 종횡비에 맞는 형태 전용 전문가 네트워크의 효과성을 탐색하기 위해.
• 기존의 CNN 기반 위치 지정 방법과 비교해 성능을 유지하거나 향상시키면서 계산 시간을 줄이기 위해.

제안 방법

• 기존에 훈련된 CNN의 마지막 합성곱층에서 유도된 특징 맵에 대해 다중 척도 및 다중 종횡비 스캔을 수행한다.
• 각 하위 창 크기와 종횡비에 대해 별도의 완전 연결 '전문가' 유닛을 사용하며, 각 유닛은 해당 기하학적 구성에 맞는 객체를 분류하도록 훈련된다.
• 특징 맵에서 여러 척도에서 관심 영역을 추출하며, 6×6 특징 맵에서는 4×4에서 6×6까지 창을 사용하고, 이중 척도 영상 피라미드에서는 최대 13×13까지 확장된다.
• 더 넓은 객체 척도 범위를 커버하기 위해 이중 영상 피라미드(원본 및 이중 크기로 보간된 이미지)를 활용한다.
• 모든 전문가 유닛의 분류 점수를 집계하여 각 객체 카테고리에 대해 최고 신뢰도 점수를 가진 바운딩 박스를 식별한다.
• 각 공간 위치의 신뢰도 점수는 해당 위치를 포함하는 모든 검출 결과의 정규화된 점수 평균으로 계산되며, n=5를 사용해 저신뢰도 검출을 억제한다.

실험 결과

연구 질문

• RQ1 CNN 특징 맵에서 다중 척도 및 다중 종횡비 스캔 전략이 영역 제안 없이도 객체 위치 지정 정확도를 향상시킬 수 있는가?
• RQ2 다른 창 형태에 맞는 전용 전문가 완전 연결 레이어를 사용할 경우, 단일 공유 분류기보다 더 나은 위치 지정 성능을 낼 수 있는가?
• RQ3 이 방법이 표준 벤치마크에서 최신 기술 수준의 방법을 능가하면서도 실시간 추론(≥4 fps)을 달성할 수 있는가?
• RQ4 이중 영상 피라미드의 사용이 객체 척도 커버리지와 위치 지정 성능에 어떤 영향을 미치는가?
• RQ5 피라미드 수준을 늘릴 경우 정확도와 추론 속도 사이의 상충 관계는 어떻게 변화하는가?

주요 결과

• 제안된 방법은 4 fps의 프레임 속도를 달성하여 RCNN(9.0 sec/im)과 Fast-RCNN(2.1 sec/im)보다 크게 빠르며, Oquab15(1.3 sec/im)보다도 더 빠르다.
• PASCAL VOC 2012 검증 세트에서 75.4%의 mAP를 기록하여 RCNN(74.8%)와 Fast-RCNN(71.3%)를 모두 초월한다.
• 삼중 척도 영상 피라미드를 사용할 경우, 이중 척도 버전 대비 분류 성능에서 2.6% 향상되고, 위치 지정 성능에서 2.4% 향상되지만, 추론 시간이 증가(1.58 sec/im)하는 비용이 수반된다.
• 다중 전문가 유닛을 사용할 경우, 단일 공유 완전 연결 레이어 대비 위치 지정 mAP가 5.3%p 향상된다(77.8% 대비 72.5%).
• 선택적 검색 제안을 사용한 Oquab15의 조합보다도 위치 지정 정확도에서 뛰어나, 하위 창 기반 접근 방식의 효과성을 입증한다.
• n=5 정규화를 사용한 신뢰도 점수 집계 방법은 저신뢰도 검출을 효과적으로 억제하고 위치 지정의 강건성을 향상시킨다.