[논문 리뷰] Deep Feature Based Contextual Model for Object Detection

Wenqing Chu, Deng Cai|arXiv (Cornell University)|2016. 04. 14.

Advanced Neural Network Applications참고 문헌 2인용 수 6

한 줄 요약

이 논문은 완전히 연결된 조건부 랜덤 필드(CRF)를 통해 국소적 외관, 상호 객체 관계, 전역적 시나리오 맥락을 통합함으로써 객체 검출을 향상시키는 딥 페처 기반의 맥락 모델을 제안한다. Faster R-CNN의 제안과 CNN에서 유도된 특징을 활용하여, 효율성을 위해 빠른 평균 장 근사법을 사용함으로써 PASCAL VOC 2007에서 평균 평균 정밀도(mAP)를 0.87% 향상시켰으며, '병' 카테고리에 대해서는 최대 3.4% 향상됨.

ABSTRACT

Object detection is one of the most active areas in computer vision, which has made significant improvement in recent years. Current state-of-the-art object detection methods mostly adhere to the framework of regions with convolutional neural network (R-CNN) and only use local appearance features inside object bounding boxes. Since these approaches ignore the contextual information around the object proposals, the outcome of these detectors may generate a semantically incoherent interpretation of the input image. In this paper, we propose an ensemble object detection system which incorporates the local appearance, the contextual information in term of relationships among objects and the global scene based contextual feature generated by a convolutional neural network. The system is formulated as a fully connected conditional random field (CRF) defined on object proposals and the contextual constraints among object proposals are modeled as edges naturally. Furthermore, a fast mean field approximation method is utilized to inference in this CRF model efficiently. The experimental results demonstrate that our approach achieves a higher mean average precision (mAP) on PASCAL VOC 2007 datasets compared to the baseline algorithm Faster R-CNN.

연구 동기 및 목표

• 최근의 최고 성능 검출기들인 Faster R-CNN가 객체 제안 내 국소적 외관 이외의 맥락 정보를 忽略하는 한계를 해결하기 위해.
• 객체 제안 간의 의미적 및 공간적 관계를 모델링하고 전역적 시나리오 맥락을 통합하여 검출 정확도를 향상시키기 위해.
• 학습된 맥락 제약 조건을 사용하여 모든 제안 간의 의미적 일관성을 강제하는 완전히 연결된 CRF로 객체 검출을 공식화하기 위해.
• 빠른 평균 장 근사법을 사용하여 CRF 모델에서 효율적인 추론을 가능하게 하기 위해.
• 맥락 모델링이 PASCAL VOC 2007과 같은 벤치마크 데이터셋에서 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 제안된 방법은 Faster R-CNN을 사용하여 CRF의 입력 노드로 사용되는 점수와 바운딩 박스 위치를 가진 객체 제안을 생성한다.
• CRF의 단항 잠재변수는 각 제안에 대해 Faster R-CNN의 분류 점수에서 직접 유도된다.
• 쌍방 잠재변수는 객체 제안 간의 의미적 유사성(객체 카테고리 동시 발생)과 공간적 근접성(상대적 위치)에 기반하여 정의된다.
• 전역적 시나리오 맥락은 사전 학습된 CNN을 사용하여 시나리오 분류를 수행함으로써 캡처되며, 이미지에서 객체 카테고리가 발생할 가능성도 추정한다.
• 맥락 모델은 모든 제안 쌍 간의 맥락 제약 조건을 나타내는 간선을 가진 완전히 연결된 CRF로 공식화된다.
• 모든 제안에 걸쳐 레이블과 신뢰도 점수를 동시에 예측하기 위해 빠른 평균 장 근사법을 사용하여 효율적인 추론을 수행한다.

실험 결과

연구 질문

• RQ1 객체 관계와 전역적 시나리오 이해에서 유도된 맥락 정보를 통합함으로써 국소적 외관 특징을 초월한 객체 검출 성능 향상을 이룰 수 있는가?
• RQ2 상호 객체 간의 공간적 및 의미적 관계는 모호하거나 가림을 입은 상황에서 검출 신뢰도와 정확도에 어떤 영향을 미치는가?
• RQ3 전역적 시나리오 맥락은 특히 저해상도 또는 가려진 객체에 대해 모호함을 해결하는 데 어느 정도 기여하는가?
• RQ4 기존의 두 단계 검출기인 Faster R-CNN에 깊이 있는 특징 기반 맥락 모델을 재학습 없이 효율적으로 통합할 수 있는가?
• RQ5 제안된 CRF 기반 프레임워크는 다양한 객체 카테고리, 특히 잘못된 양성 결과가 자주 발생하는 카테고리에서 일관되게 mAP를 향상시키는가?

주요 결과

• 제안된 방법은 Faster R-CNN 베이스라인 대비 PASCAL VOC 2007 데이터셋에서 평균 평균 정밀도(mAP)를 0.87% 향상시켰다.
• '병' 카테고리의 경우 평균 정밀도(AP)가 3.4% 향상되어 낮은 시야율을 가진 어려운 객체에서 뚜렷한 성과를 보였다.
• VGG-16 백본을 사용할 경우 20개 카테고리 중 18개에서 검출 성능이 향상되었으며, 일부 클래스에서 약간의 성능 저하가 발생함.
• 국소적, 상호적, 전역적 맥락의 통합은 더 의미적으로 일관된 예측을 이끌어내어 모호한 장면에서 잘못된 양성 결과를 줄였다.
• 이 방법은 다양한 백본 네트워크에 대해 잘 일반화되며, ZF 및 VGG-16 특징에 모두 적용했을 때 일관된 성능 향상을 보였다.
• 시각화 결과는 모델이 복잡한 장면에서 잘못된 예측을 수정하는 데 성공했지만, 전역적 시나리오 인식에 실패할 경우 성능 저하가 발생할 수 있음(예: 비호수 장면을 호수로 오인하는 경우).