[논문 리뷰] ContextLocNet: Context-Aware Deep Network Models for Weakly Supervised Localization

Vadim Kantorov, Maxime Oquab외 2명|arXiv (Cornell University)|2016. 09. 14.

Advanced Neural Network Applications참고 문헌 32인용 수 43

한 줄 요약

이 논문은 이미지 레이블만을 사용하는 약한 감독 객체 탐지를 위한 컨텍스트 인식 딥러닝 프레임워크인 ContextLocNet을 제안한다. 객체 영역이 주변 컨텍스트와 의미적으로 일관되거나 다를 수 있도록 추가적이고 대비적인 컨텍스트 모델링을 통합함으로써, ContextLocNet은 정확도를 햖스켜 PASCAL VOC 2007 및 2012 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We aim to localize objects in images using image-level supervision only. Previous approaches to this problem mainly focus on discriminative object regions and often fail to locate precise object boundaries. We address this problem by introducing two types of context-aware guidance models, additive and contrastive models, that leverage their surrounding context regions to improve localization. The additive model encourages the predicted object region to be supported by its surrounding context region. The contrastive model encourages the predicted object region to be outstanding from its surrounding context region. Our approach benefits from the recent success of convolutional neural networks for object recognition and extends Fast R-CNN to weakly supervised object localization. Extensive experimental evaluation on the PASCAL VOC 2007 and 2012 benchmarks shows hat our context-aware approach significantly improves weakly supervised localization and detection.

연구 동기 및 목표

• 오직 이미지 레이블만을 제공하는 약한 감독 객체 탐지(WSOL)의 과제를 해결하며, 비용이 많이 드는 바운딩 박스 레이블링을 피하기 위해 노력한다.
• 기존 방법들이 종종 전체 객체가 아닌 특징적인 부분(예: 머리)만 탐지하는 한계를 극복한다.
• 주변 영역 및 전반적인 이미지 컨텍스트와 같은 시각적 컨텍스트를 암묵적 지도로 활용하여 객체 탐지의 정밀도를 향상시킨다.
• 영역 기반 CNN 프레임워크의 탐지 헤드에 컨텍스트 모델링을 통합하는 딥 네트워크 아키텍처를 설계한다.
• 객체 영역과 컨텍스트 영역 간의 의미 일관성(추가적) 또는 대비(대비적)를 강제로 적용하여 탐지 경계 정확도를 향상시킨다.

제안 방법

• 객체 영역과 주변 컨텍스트 간의 클래스 점수 합을 최대화하는 추가 모델을 제안한다. 이는 의미 일관성을 촉진한다.
• 객체 영역과 컨텍스트 간의 클래스 점수 차이를 최대화하는 대비 모델을 도입한다. 이는 객체의 배경에서의 구별성을 향상시킨다.
• ROI 및 컨텍스트 특징을 모두 처리할 수 있도록 영역 풀링을 통한 컨텍스트 인식 탐지 헤드를 Fast R-CNN 프레임워크에 통합한다.
• ROI 풀링을 사용하여 후보 영역 및 주변 컨텍스트의 특징을 추출함으로써, 약한 지도 학습과 함께 엔드 투 엔드 학습을 가능하게 한다.
• 이미지 레이블에 기반한 교차 엔트로피 손실을 사용하여 모델을 학습하며, 컨텍스트 모델링을 탐지 브랜치에 통합한다.
• 추가 모델과 대비 모델을 별도로 평가하고 조합하여 평가하며, VOC 2007 및 2012 벤치마크에서 표준 지표(mAP, CorLoc)를 사용한다.

실험 결과

연구 질문

• RQ1 바운딩 박스 레이블링 없이도 시각적 컨텍스트를 암묵적 지도로 효과적으로 활용할 수 있는가?
• RQ2 객체 영역과 컨텍스트 영역 간의 의미 일관성(추가적 가이던스)을 강제로 적용하면 경계 정확도가 향상되는가?
• RQ3 객체 영역과 컨텍스트 영역 간의 의미 대비(대비적 가이던스)는 머리나 눈과 같은 특징적인 부분에 대한 과적합을 줄일 수 있는가?
• RQ4 다양한 객체 종류와 혼잡한 환경에서 추가적 및 대비적 컨텍스트 모델링 간의 성능 및 내성적 안정성은 어떻게 비교되는가?
• RQ5 Fast R-CNN과 같은 기존 영역 기반 CNN 프레임워크에 컨텍스트 인식 모델링을 통합하여 최신 기술 수준의 WSOL 성능을 달성할 수 있는가?

주요 결과

• 대비 모델은 추가 모델 및 기준 방법보다 뚜렷이 뛰어나며, VOC 2007에서 55.8% mAP, VOC 2012에서 54.8% CorLoc를 기록한다.
• 대비 S 모델은 VOC 2007에서 71.6% mAP, VOC 2012에서 62.9% mAP를 달성하여 다양한 객체 종류에 걸쳐 뛰어난 일반화 능력을 보였다.
• 정성적 결과에서는 ContextLocNet이 WSDDN보다 전체 객체의 범위(예: 전체 인체나 동물)를 더 정확하게 탐지함을 보여주었다. WSDDN은 종종 머리나 일부만 탐지한다.
• 추가 모델은 객체 경계를 초과해 확장되는 것을 방지하지만, 대비 모델은 작은 특징적인 부분으로의 과소 탐지(underexpansion)를 방지한다.
• 추가 및 대비 모델의 공동 학습은 성능 향상에 기여하지 않았으며, 이는 서로 보완적이지만 덧셈적으로 작용하지 않는 인도크티브 바이어스를 캡처하고 있음을 시사한다.
• 동일한 클래스의 다중 인스턴스가 존재하는 이미지에서는 실패하는 경우가 있었으며, 이는 약한 감독 방법의 알려진 실패 유형이다. 그러나 대부분의 케이스에서는 기준 방법보다 뛰어난 성능을 보였다.