[논문 리뷰] Multi-scale Location-aware Kernel Representation for Object Detection

Hao Wang, Qilong Wang외 3명|arXiv (Cornell University)|2018. 04. 02.

Advanced Neural Network Applications참고 문헌 33인용 수 12

한 줄 요약

이 논문은 다중 척도 특징 맵에서 깊이 신경망 특징의 고차 통계를 저차원 다항 커널 근사화를 통해 캡처함으로써 객체 검출 성능을 햖थ하는 새로운 방법인 다중 척도 위치 인식 커널 표현(MLKP)을 제안한다. 공간적 위치 정보를 유지함으로써 MLKP는 PASCAL VOC 2007, VOC 2012, MS COCO 벤치마크에서 각각 4.9%, 4.7%, 5.0% 향상시키며, 소형 및 어려운 객체 검출에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Although Faster R-CNN and its variants have shown promising performance in object detection, they only exploit simple first-order representation of object proposals for final classification and regression. Recent classification methods demonstrate that the integration of high-order statistics into deep convolutional neural networks can achieve impressive improvement, but their goal is to model whole images by discarding location information so that they cannot be directly adopted to object detection. In this paper, we make an attempt to exploit high-order statistics in object detection, aiming at generating more discriminative representations for proposals to enhance the performance of detectors. To this end, we propose a novel Multi-scale Location-aware Kernel Representation (MLKP) to capture high-order statistics of deep features in proposals. Our MLKP can be efficiently computed on a modified multi-scale feature map using a low-dimensional polynomial kernel approximation.Moreover, different from existing orderless global representations based on high-order statistics, our proposed MLKP is location retentive and sensitive so that it can be flexibly adopted to object detection. Through integrating into Faster R-CNN schema, the proposed MLKP achieves very competitive performance with state-of-the-art methods, and improves Faster R-CNN by 4.9% (mAP), 4.7% (mAP) and 5.0% (AP at IOU=[0.5:0.05:0.95]) on PASCAL VOC 2007, VOC 2012 and MS COCO benchmarks, respectively. Code is available at: https://github.com/Hwang64/MLKP.

연구 동기 및 목표

• Faster R-CNN 이 일阶 특징 통계에 의존함으로써 소형 및 어려운 객체 검출에 한계를 보이는 문제를 해결하기 위해.
• 공간적 위치 정보를 유지하면서 고차 통계를 객체 검출에 통합하는 방법을 탐색하기 위해.
• 프레임워크에 종속되지 않고 효율적인 방법으로 제안된 특징 표현을 향상시켜 분류 및 회귀 성능을 향상시키기 위해.
• 다중 척도 특징과 위치 민감한 커널 표현을 조합함으로써 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 다중 척도 특징 맵에서 r차 다항 커널 근사화를 계산하는 다중 척도 위치 인식 커널 표현(MLKP)을 제안한다.
• 다양한 차수의 다항 커널 표현을 효율적으로 계산하기 위해 1×1 컨볼루션과 원소별 곱셈을 사용한다.
• 각 공간적 위치의 기여도를 측정하기 위해 학습 가능한 위치 가중치 네트워크(매개변수 Θₘ)를 도입하여 공간 감도를 유지한다.
• 커널 계산 후에도 공간적 구조를 유지하기 위해 재매핑 연산 (1⊗) 을 적용하여 표준 RoI 풀링을 가능하게 한다.
• 모든 다항 커널 차수의 표현을 결합하여 공간 정보를 유지하는 최종 특징 벡터를 생성한다.
• 엔드 투 엔드 학습을 통해 Faster R-CNN 프레임워크에 MLKP를 통합하며, 표준 검출 파ip라인과의 호환성을 유지한다.

Figure 2: Overview of our multi-scale location-aware kernel representation (MLKP). As polynomial kernel representations can be decomposed into $1\times 1\times D^{r}$ convolution operations and element-wise product $\odot$ . Given a multi-scale feature map $\mathcal{X}$ (see Fig. 3 for details on mu

실험 결과

연구 질문

• RQ1 적절히 국소화된 고차 특징 통계가 객체 검출 성능 향상에 기여할 수 있는가?
• RQ2 공간 정보를 유지하면서 고차 표현을 효율적으로 계산하는 방법은 무엇인가?
• RQ3 위치 정보를 손실하지 않고 다중 척도 특징을 효과적으로 모델링할 수 있는 커널 기반 접근법은 가능한가?
• RQ4 위치 인식형 다항 커널 근사화가 소형 및 어려운 객체 검출에서 일阶 특징 표현보다 우수한가?
• RQ5 제안된 방법은 다양한 백본 네트워크와 검출 벤치마크에 일반화 가능한가?

주요 결과

• MLKP는 PASCAL VOC 2007에서 Faster R-CNN의 mAP를 4.9% 향상시켜 뚜렷한 성능 향상을 보였다.
• VGG-16를 사용한 PASCAL VOC 2012에서 MLKP는 Faster R-CNN 대비 5.1% 향상되어 과도한 객체 카테고리에서의 효과를 확인했다.
• MS COCO에서 MLKP는 IOU=[0.5:0.05:0.95] 기준 Faster R-CNN을 5.0% 향상시켰으며, DSSD 및 SSD와 같은 최신 기술을 초월했다.
• 소형 및 어려운 객체, 예를 들어 먼 곳에 있는 사람이나 식물의 검출에서 위치 인식형 고차 표현 덕분에 뛰어난 성능을 보였다.
• HyperNet, RON, ION-Net 대비 각각 1.8%, 0.5%, 1.6% 높은 성능을 기록하여 위치 민감한 커널 학습의 우수성을 입증했다.
• ResNet-101을 사용할 경우, MS COCO에서 MLKP는 Faster R-CNN을 4.2% 향상시키며, DSSD 및 SSD와 같은 영역 기반 방법을 뛰어넘어 백본 간 일반화 능력이 뛰어나다는 것을 보여주었다.

Figure 3: The overview of our modified multi-scale feature map with VGG-16 [ 35 ] . Please refer to Fig. 2 .