[논문 리뷰] Exploring Person Context and Local Scene Context for Object Detection

Saurabh Gupta, Bharath Hariharan외 1명|arXiv (Cornell University)|2015. 11. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 20

한 줄 요약

이 논문은 사람의 맥락(예: 사람과 그들의 액세서리인 배트, 장갑, 핸드폰 등)과 국소적 환경 맥락(예: 마우스와 키보드, 모니터 사이의 공간 관계 등)을 활용하여, 특히 작은 또는 가림을 입은 물체의 검출을 향상시키기 위해 두 가지 맥락 인식 기반 객체 검출 모델을 제안한다. 이 모델들은 공간적으로 정밀하고 외관 조건에 따라 결정되는 맥락 추론을 사용함으로써, CNN 기반 최신 기술보다 성능을 뛰어넘으며 COCO에서 최대 5%의 상대적 향상과 소형 물체에서는 10%의 상대적 향상을 기록한다.

ABSTRACT

In this paper we explore two ways of using context for object detection. The first model focusses on people and the objects they commonly interact with, such as fashion and sports accessories. The second model considers more general object detection and uses the spatial relationships between objects and between objects and scenes. Our models are able to capture precise spatial relationships between the context and the object of interest, and make effective use of the appearance of the contextual region. On the newly released COCO dataset, our models provide relative improvements of up to 5% over CNN-based state-of-the-art detectors, with the gains concentrated on hard cases such as small objects (10% relative improvement).

연구 동기 및 목표

• 영역 제안이 실패하는 작은, 가려진, 또는 시각적으로 모호한 물체의 검출을 향상시키기 위해.
• 물체 간 정밀한 공간 관계(예: 타자의 자세가 배트 위치를 암시함)를 모델링하기 위해.
• 사람을 타자의 것으로 식별하는 것과 같이, 외관에 기반한 맥락을 통합하기 위해.
• 전반적인 환경 레이블을 넘어서 국소화되고 동적이고 의미 있는 관계에 집중하는 맥락을 탐색하기 위해.
• 외관만으로는 분류하기 어려운 물체(예: 마우스, 야구 배트 등)의 검출을 가능하게 하기 위해.

제안 방법

• 사람 맥락 모델은 사람 검출 및 자세 추정을 통해 인간의 자세와 외관에 기반해 액세서리(예: 배트, 장갑, 핸드폰 등)의 가능성이 높은 위치를 추론한다.
• 국소적 환경 맥락 모델은 물체 검출 간의 공간 관계(예: 마우스가 키보드 아래, 신호등이 기둥 근처)를 사용하여 검출 점수를 보정한다.
• 맥락 특징은 맥락 영역을 반복적으로 추가함으로써 검출 점수를 향상시키는 다단계 추론 기반 메커니즘을 통해 통합된다.
• 시각화를 위해 국소적 환경 맥락 모델의 선형 변형을 사용하며, 각 단계에서 맥락 특징을 16/t 비율로 스케일링하여 해석 가능성을 유지한다.
• 모델들은 사전 훈련된 CNN(예: VGG, AlexNet)의 특징을 사용하고, 엔드 투 엔드 훈련이 아닌 맥락 추론을 통해 영역 제안 점수를 개선한다.
• 모델들은 외관과 공간 구성에 기반해 동적으로 관련 맥락 영역을 선택함으로써 하드웨어에 고정된 전반적 또는 국소적 맥락을 피한다.

실험 결과

연구 질문

• RQ1 사람과 그들의 액세서리 간 정밀한 공간 관계를 모델링하면 패션 및 스포츠 액세서리의 검출 성능이 향상되는가?
• RQ2 물체 간 국소적 환경 관계(예: 마우스와 키보드)를 모델링하면 일반 객체 검출 성능이 향상되는가?
• RQ3 시각적 특징이 약한 작은 물체나 가려진 물체에서는 맥락 추론이 더 큰 성능 향상을 제공하는가?
• RQ4 영역 제안이 열악한 상황에서 맥락 기반 검출은 최신 기술인 CNN 기반 검출기와 비교해 어떻게 성능을 냈는가?
• RQ5 맥락 추론을 통해 사람과 그들이 사용하는 물체를 연결시켜 더 풍부한 환경 이해를 가능하게 할 수 있는가?

주요 결과

• 지식 기반 박스가 제안 풀에 추가된 경우, 국소적 환경 맥락 모델은 Fast R-CNN 대비 COCO에서 1.8점의 절대적 향상을 기록하며, 제안이 열악할수록 맥락 기반 성능 향상이 두드러진다.
• 국소적 환경 맥락 모델은 기준 모델 대비 최대 5%의 상대적 mAP 향상을 기록하며, '스포츠', '전자', '가전제품', '실외'와 같은 초범주에 집중적으로 향상된다.
• 소형 물체(32×32 픽셀 이하)의 경우, VGG 기반으로 Fast R-CNN 대비 10%의 상대적 향상(절대 1.7점)을 기록했고, AlexNet 기반으로는 32%의 상대적 향상(절대 2점)을 기록했다.
• 사람 맥락 모델은 야구 배트, 장갑, 종이비행기 등 표준 검출기가 인식하기 어려운 카테고리에서 3점 이상의 상당한 향상을 기록했다.
• 모델들은 Fast R-CNN이 놓친 물체, 특히 작은 또는 가려진 물체(예: 신호등, 토스터, 스포츠 볼)를 맥락이 존재할 경우 검출할 수 있었다.
• 향상은 통계적으로 유의미하다(p < 0.01)며, 딥 러닝 시대에도 맥락 추론이 일관되고 측정 가능한 성능 향상을 제공한다는 점을 확인한다.