[논문 리뷰] DeePM: A Deep Part-Based Model for Object Detection and Semantic Part Localization

Jun Zhu, Xianjie Chen외 1명|arXiv (Cornell University)|2015. 11. 23.

Advanced Neural Network Applications참고 문헌 27인용 수 19

한 줄 요약

이 논문은 Faster R-CNN 기반의 잠재 그래픽 모델을 사용하여 객체를 동시에 검출하고 의미적 부분을 국소화하는 딥 파트기반 모델인 DeePM을 제안한다. 다양한 유형의 공유와 기하학적 제약 조건을 통해 명시적인 객체-부분 구성 방식을 학습함으로써, 특히 부분 국소화에서 OP R-CNN 및 최신 R-CNN 모델을 능가하며, 공동 검출 성능을 평가하기 위한 새로운 '(1+k)' AP 지표를 도입한다.

ABSTRACT

In this paper, we propose a deep part-based model (DeePM) for symbiotic object detection and semantic part localization. For this purpose, we annotate semantic parts for all 20 object categories on the PASCAL VOC 2012 dataset, which provides information on object pose, occlusion, viewpoint and functionality. DeePM is a latent graphical model based on the state-of-the-art R-CNN framework, which learns an explicit representation of the object-part configuration with flexible type sharing (e.g., a sideview horse head can be shared by a fully-visible sideview horse and a highly truncated sideview horse with head and neck only). For comparison, we also present an end-to-end Object-Part (OP) R-CNN which learns an implicit feature representation for jointly mapping an image ROI to the object and part bounding boxes. We evaluate the proposed methods for both the object and part detection performance on PASCAL VOC 2012, and show that DeePM consistently outperforms OP R-CNN in detecting objects and parts. In addition, it obtains superior performance to Fast and Faster R-CNNs in object detection.

연구 동기 및 목표

• 객체와 그 구성 부위를 동시에 검출함으로써 상호 보완적인 객체 검출 및 의미적 부분 국소화를 가능하게 하기 위해.
• 기존 방법들이 객체 검출과 부분 검출을 별도로 다루거나 세밀한 부분 레이블링을 부족하게 다루는 한계를 해결하기 위해.
• 기하학적 및 동시출현 제약 조건을 통합하여 객체-부분 구성 방식을 모델링하는 통합 프레임워크를 개발하기 위해.
• 공동 검출 성능에 특화된 새로운 평가 지표인 '(1+k) AP'를 도입하기 위해.
• 자세, 가림, 시점, 기능성을 포함한 20개의 PASCAL VOC 2012 객체 카테고리 전반에 걸쳐 포괄적인 의미적 부분 레이블링을 제공하기 위해.

제안 방법

• DeePM은 객체 검출을 위한 스트림과 부분 검출을 위한 스트림을 가진 이중 스트림 딥 컨볼루션 네트워크 아키텍처를 사용하며, 초기 컨볼루션 계층을 공유한다.
• 각 스트림은 엔드 투 엔드 학습 방식으로 객체 또는 부분 제안을 생성하기 위해 영역 제안 네트워크(RPN)를 통합한다.
• 잠재 그래픽 모델은 객체와 그 부분 간의 깊이 있는 외관 특징, 기하학적 제약 조건 및 동시출현 제약 조건을 통합한다.
• 부분 유형은 비지도 군집화를 통해 학습되며, 이는 다양한 시점에서의 동일한 부분(예: 측면 시점의 말 머리) 간의 타입 공유를 유연하게 가능하게 한다.
• 모델는 객체 및 부분 클래스에 대한 분류와 바운딩 박스 회귀를 동시에 수행하기 위한 다중 작업 손실을 활용한다.
• 그래픽 모델은 객체에 대한 부분의 공간적 구성 구조를 명시적으로 모델링하여, 가림이나 잘림이 발생하더라도 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 그래픽 모델링을 통한 딥 파트기반 모델이 공동 객체 검출 및 부분 검출에서 엔드 투 엔드 딥 러닝 기반 모델을 능가할 수 있는가?
• RQ2 유연한 부분 유형 공유 방식이 다양한 객체 자세, 시점 및 가림 수준에서 일반화 성능을 향상시키는 데 기여하는가?
• RQ3 기하학적 제약 조건과 동시출현 제약 조건이 복잡한 상황에서 부분 국소화 성능을 얼마나 향상시키는가?
• RQ4 제안된 '(1+k) AP' 지표가 표준 PASCAL VOC mAP에 비해 공동 객체-부분 검출의 곤란함을 더 잘 반영하는가?
• RQ5 공유된 특징과 구조적 모델링을 통합한 통합 프레임워크가 소형 또는 매우 가려진 부분의 성능 향상에 기여하는가?

주요 결과

• DeePM는 OP R-CNN 대비 부분 검출에서 평균 평균 정확도(mAP)가 2.9% 높아지며, 세밀한 의미적 부분의 국소화에서 뚜렷한 성능 향상을 보였다.
• DeePM는 객체 검출에서 Fast R-CNN 및 Faster R-CNN을 모두 능가하여, 명시적인 부분 모델링이 전체 검출 성능 향상에 기여함을 시사한다.
• 제안된 '(1+k) AP' 지표는 k > 0일 경우 DeePM가 OP R-CNN를 항상 능가함을 확인하여, 공동 검출 작업에서의 우수성을 입증한다.
• DeePM는 자전거, 보트, 말, 소파 4개 객체 클래스에서 단일 유형 DPM 기반 모델보다 뚜렷한 성능 향상을 보이며, 유형별 기하학적 및 동시출현 신호의 유용성을 입증한다.
• 극도로 작은(XS) 및 큰(XL) 객체/부분에서는 성능 저하가 급격히 발생하여, 매우 잘린 또는 가려진 인스턴스 검출의 과제를 드러낸다.
• 시각화 결과는 DeePM이 부분 가림이나 비정면 시점 조건에서도 구조적 그래픽 모델 덕분에 효과적으로 부분을 국소화함을 확인한다.