[논문 리뷰] Attentive Contexts for Object Detection

Jianan Li, Yunchao Wei외 5명|arXiv (Cornell University)|2016. 03. 24.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 앙상블 기반 CNN 기반 객체 검출 기반 기술인 Fast R-CNN을 향상시키기 위해 주변 환경 정보를 주의 메커니즘을 통해 통합함으로써 전역 및 국소적 맥락 정보를 동시에 강화하는 새로운 객체 검출 프레임워크인 AC-CNN을 제안한다. 스택형 LSTM 기반 주의 네트워크를 사용해 유용한 전역 맥락을 강조하고, 제안 영역 주변의 특징을 다중 척도로 풍부하게 만드는 다중 척도 맥락화 모듈을 활용하여, PASCAL VOC 2007과 2012에서 각각 2.0%와 2.2%의 mAP 향상을 달성한다.

ABSTRACT

Modern deep neural network based object detection methods typically classify candidate proposals using their interior features. However, global and local surrounding contexts that are believed to be valuable for object detection are not fully exploited by existing methods yet. In this work, we take a step towards understanding what is a robust practice to extract and utilize contextual information to facilitate object detection in practice. Specifically, we consider the following two questions: "how to identify useful global contextual information for detecting a certain object?" and "how to exploit local context surrounding a proposal for better inferring its contents?". We provide preliminary answers to these questions through developing a novel Attention to Context Convolution Neural Network (AC-CNN) based object detection model. AC-CNN effectively incorporates global and local contextual information into the region-based CNN (e.g. Fast RCNN) detection model and provides better object detection performance. It consists of one attention-based global contextualized (AGC) sub-network and one multi-scale local contextualized (MLC) sub-network. To capture global context, the AGC sub-network recurrently generates an attention map for an input image to highlight useful global contextual locations, through multiple stacked Long Short-Term Memory (LSTM) layers. For capturing surrounding local context, the MLC sub-network exploits both the inside and outside contextual information of each specific proposal at multiple scales. The global and local context are then fused together for making the final decision for detection. Extensive experiments on PASCAL VOC 2007 and VOC 2012 well demonstrate the superiority of the proposed AC-CNN over well-established baselines. In particular, AC-CNN outperforms the popular Fast-RCNN by 2.0% and 2.2% on VOC 2007 and VOC 2012 in terms of mAP, respectively.

연구 동기 및 목표

• 효과적으로 전역 및 국소 맥락 정보를 식별하고 활용하여 객체 검출 성능을 향상시키는 방법을 탐구하는 것.
• 기존 방법들이 제안 영역 내부 특징에만 의존하는 데서 비롯되는 한계를 해결하기 위해, 소형, 부분적으로 가려진, 또는 해상도가 낮은 객체를 탐지하는 데에 부족할 수 있는 특징을 보완하는 것.
• 주목적 기반 전역 맥락 모델링과 다중 척도 국소 맥락 강화를 통합하는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 맥락 인식 특징 학습이 특히 도전적인 객체 카테고리에서 검출 성능을 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• AC-CNN 프레임워크는 주로 두 가지 주요 하위 네트워크로 구성된다: 주의 기반 전역 맥락화(AGC) 네트워크와 다중 척도 국소 맥락화(MLC) 네트워크.
• AGC 하위 네트워크는 스택형 장기 단기 기억(LSTM) 레이어를 사용하여 입력 이미지 내에서 주목할 만한 전역 맥락 영역을 반복적으로 생성하는 주의 맵을 생성한다.
• 그런 다음 주의 맵에 기반하여 특징 맵을 선택적으로 집계함으로써 전역 맥락 특징을 계산하며, 관련 배경 및 함께 나타나는 객체에 집중한다.
• MLC 하위 네트워크는 사전 정의된 척도 비율을 사용하여 제안 영역 내외의 맥락 특징을 추출하고 융합함으로써 각 제안 영역을 향상시킨다.
• 전역 및 국소 맥락 특징은 연결되어 최종 분류 및 바운딩 박스 회귀 헤드에 입력되어 검출가능하다.
• 모델는 분류 및 위치 지정을 동시에 최적화하는 다중 작업 손실 함수를 사용하여 훈련되며, 전역 맥락은 바운딩 박스 회귀에서 제외되어 정확한 위치 지정 성능을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 유용한 전역 맥락 정보를 자동으로 식별하고 강조할 수 있는가?
• RQ2 제안 영역 내외의 국소 맥락 정보를 다중 척도에서 효과적으로 캡처하고 통합할 수 있는가?
• RQ3 전역 및 국소 맥락을 통합했을 때 객체 검출 성능에 어떤 영향을 미치는가? 특히 소형 또는 가려진 객체에 대해선 어떻게 되는가?
• RQ4 왜 전역 맥락을 통합하면 바운딩 박스 회귀 성능이 떨어지는가? 그리고 이를 어떻게 완화할 수 있는가?

주요 결과

• AC-CNN는 PASCAL VOC 2007 테스트 세트에서 Fast R-CNN 대비 2.0%의 mAP 향상을 기록했으며, VOC 2012에서는 2.2% 향상되었다.
• 이 모델은 'bottle', 'pottedplant', 'chair'와 같은 도전적인 카테고리에서 오분류를 크게 줄였으며, 이들 클래스의 검출 정확도가 5% 향상되었다.
• 바운딩 박스 회귀에서 전역 맥락을 제외하면 mAP가 0.1% 향상되어, 전역 맥락이 정밀한 위치 지정에 간섭할 수 있음을 확인했다.
• 시각적 분석 결과, 주의 메커니즘이 객체 분류를 지원하는 의미적으로 관련 있는 배경 영역(예: 도로, 사람 등)을 성공적으로 강조하는 것으로 나타났다.
• 정성적 결과를 통해 AC-CNN는 Fast R-CNN이 놓친 소형 객체 및 가려진 객체에서도 뛰어난 성능을 보이며, 특히 어려운 객체 탐지에서 유의미한 개선을 보였다.
• 다중 척도 국소 맥락 모듈은 복잡하거나 부분적으로 나타나는 객체에 대해 더 나은 특징 표현을 가능하게 하였다.