[논문 리뷰] Generic Object Detection With Dense Neural Patterns and Regionlets

Will Y. Zou, Xiaoyu Wang외 2명|arXiv (Cornell University)|2014. 04. 16.

Advanced Neural Network Applications참고 문헌 23인용 수 12

한 줄 요약

이 논문은 깊이 있는 컨volution 신경망(CNN)을 기존의 객체 검출 프레임워크인 Regionlets와 효율적으로 통합할 수 있는 방법으로 Dense Neural Patterns (DNPs)를 소개한다. 특히 사전 훈련된 CNN의 다섯 번째 컨볼루션 레이어에서 고밀도의 고수준 특징을 추출함으로써, 더 빠르고 정확한 검출을 가능하게 한다. 이는 PASCAL VOC 2007에서 46.1% mAP, VOC 2010에서 44.1% mAP를 기록하며 기존 방법을 능가하며, 이미지당 특징 추출 시간을 2분에서 2초 이내로 단축시킨다.

ABSTRACT

This paper addresses the challenge of establishing a bridge between deep convolutional neural networks and conventional object detection frameworks for accurate and efficient generic object detection. We introduce Dense Neural Patterns, short for DNPs, which are dense local features derived from discriminatively trained deep convolutional neural networks. DNPs can be easily plugged into conventional detection frameworks in the same way as other dense local features(like HOG or LBP). The effectiveness of the proposed approach is demonstrated with the Regionlets object detection framework. It achieved 46.1% mean average precision on the PASCAL VOC 2007 dataset, and 44.1% on the PASCAL VOC 2010 dataset, which dramatically improves the original Regionlets approach without DNPs.

연구 동기 및 목표

• 깊이 있는 컨볼루션 신경망(CNN)을 기존의 객체 검출 프레임워크와 융합하여 정확도와 효율성을 향상시키는 것.
• 목표 데이터셋에 대한 미세조정 없이도 사전 훈련된 CNN에서 고밀도의 고수준 특징을 추출할 수 있는 방법을 개발하는 것.
• 이러한 특징을 Regionlets와 같은 기존 검출 파이프라인에 통합하여 성능을 향상시키면서도 계산 효율성을 유지하는 것.
• DNPs가 전통적인 局부 특징(예: HOG, LBP)과 상호보완적이며 검출 정확도를 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 사전 훈련된 깊이 있는 CNN의 다섯 번째 컨볼루션 레이어에서 활성화 맵을 이용해 Dense Neural Patterns (DNPs)를 추출하며, 수신장 영역의 위치를 이미지 좌표로 역추적한다.
• 동일한 공간 위치에서 여러 특징 맵의 활성화 값을 연결하여 각 수신장에 대해 고밀도 특징 벡터를 형성함으로써 공간 정보를 유지한다.
• 입력 캔버를 이동시키는 'network-convolution'을 사용해 전체 이미지에 걸쳐 고밀도 특징 추출을 수행하며, 최소한의 네트워크 추론 횟수로 임의의 해상도에서 특징을 추출할 수 있도록 한다.
• Regionlets 프레임워크에 DNPs를 통합하기 위해 검출 창의 부분 영역 내에서 DNPs의 정규화 히스토그램을 계산하고, 이를 부스팅 학습 과정에서 전통적 특징과 결합한다.
• 완전 연결층을 피하고 초기 컨볼루션 레이어를 사용함으로써 공간 구조를 유지한다.
• DNP 특징 추출기를 검출기로 적용하여 가장 자주 선택된 특징 차원을 시각화함으로써, 개 얼굴과 같은 고수준 의미론적 패턴이 포함되어 있음을 확인한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 특징을 미세조정 없이도 기존의 객체 검출 프레임워크(예: Regionlets)에 효과적이고 효율적으로 통합할 수 있는가?
• RQ2 Dense Neural Patterns (DNPs)는 HOG나 LBP와 같은 저수준 특징을 초월하여 고수준의 의미론적 특징을 인코딩하여 객체 검출 성능을 향상시키는가?
• RQ3 큰 이미지에서 DNPs를 저비용으로 대규모로 추출할 수 있는가? 이는 실시간 또는 거의 실시간 검출을 가능하게 하는가?
• RQ4 기존의 엔드 투 엔드 CNN 기반 검출기인 R-CNN와 비교했을 때, 전통적 검출 파이프라인에서 사용된 DNPs의 성능과 속도는 어떠한가?

주요 결과

• 제안된 DNP 기반 Regionlets 프레임워크는 PASCAL VOC 2007 데이터셋에서 46.1%의 평균 평균 정밀도(mAP)를 달성하여 원래의 Regionlets 방법(41.7%)보다 뚜렷한 향상을 보였다.
• PASCAL VOC 2010 데이터셋에서는 44.1% mAP를 기록하여 원래의 Regionlets(39.7%)를 능가했으며, 미세조정된 완전 연결층 특징을 사용한 R-CNN 접근법(43.5% mAP)을도 초월했다.
• DNPs를 이용한 특징 추출은 이미지당 단지 1.64초가 소요되었으며, 이는 R-CNN 방법이 동일한 데이터셋에서 특징 추출에 121.49초가 소요되었을 때 대비 74배 빠른 속도 향상이다.
• 시각적 분석을 통해 가장 자주 선택된 DNP 특징 차원이 개 얼굴과 같은 의미론적 객체 부분과 일치함을 확인하여, DNPs가 고수준의 시각적 개념을 효과적으로 인코딩하고 있음을 입증했다.
• DNPs가 HOG와 같은 전통적 특징과 상호보완적임을 입증하였으며, 두 특징의 조합은 개별적으로 사용했을 때보다 상당한 성능 향상을 이끌어냈다.
• 기존의 미세조정된 완전 연결층 기반 방법들과 달리, 다섯 번째 컨볼루션 레이어의 특징만을 사용함으로써, 미세조정 없이도 PASCAL VOC 벤치마크에서 최고 성능을 달성했다.