[논문 리뷰] The Role of Context Selection in Object Detection

Ruichi Yu, Xi Chen외 2명|arXiv (Cornell University)|2016. 09. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 11

한 줄 요약

이 논문은 잡음이 있는 문맥 영역을 걸러내고 정보성이 높은 영역을 강조함으로써 객체 검출 성능을 햖थ기 위한 영역 기반 문맥 재점수화 방법과 동적 문맥 선택 기법을 제안한다. 지원 증거와 반박 증거를 기반으로 선택 전략을 학습하기 위해 잠재-SVM(latent-SVM)을 사용한 방법은 외관 기반 검출(45.47%) 대비 2.8% 향상된 mAP(48.25%)를 달성하여, 무분별한 문맥 사용 대비 선택적 문맥 활용의 핵심적 역할을 입증한다.

ABSTRACT

We investigate the reasons why context in object detection has limited utility by isolating and evaluating the predictive power of different context cues under ideal conditions in which context provided by an oracle. Based on this study, we propose a region-based context re-scoring method with dynamic context selection to remove noise and emphasize informative context. We introduce latent indicator variables to select (or ignore) potential contextual regions, and learn the selection strategy with latent-SVM. We conduct experiments to evaluate the performance of the proposed context selection method on the SUN RGB-D dataset. The method achieves a significant improvement in terms of mean average precision (mAP), compared with both appearance based detectors and a conventional context model without the selection scheme.

연구 동기 및 목표

• 이론적으로 유리한데도 불구하고 문맥이 객체 검출 성능 향상에 자주 실패하는 이유를 탐구하기 위해.
• 이dealized 조건에서 오라클 제공 레이블을 사용해 문맥 신호의 예측 능력을 고립하고 평가하기 위해.
• 정보성이 높은 문맥 영역을 선택하고 잡음이 있거나 관련성이 없는 영역을 걸러내는 방법을 개발하기 위해.
• 모든 검출된 영역을 무분별하게 사용하는 대신, 선택적 문맥 증거를 활용해 객체 신뢰도를 재점수화하여 검출 정확도를 향상시키기 위해.
• 문맥 존재성 자체보다는 문맥 선택 전략이 객체 검출 성능 향상의 핵심임을 입증하기 위해.

제안 방법

• 모든 잠재적 문맥 영역에 대해 잠재 지표 변수를 도입하여, 해당 영역이 문맥 추론에 선택되어야 하는지 여부를 모델링한다.
• 두 개의 스트림 기반 신뢰도 추정을 제안한다: 선택된 영역에서 유래한 '지지 증거'(For upper-bound)와 '반박 증거'(Against upper-bound)의 상한.
• 대상 객체의 신뢰도 점수는 For 상한과 Against 상한의 차이를 기반으로 재점수화된다.
• 선택 전략은 잠재-SVM을 통해 학습되며, 잠재 변수를 다루면서 검출과 문맥 선택을 동시에 최적화한다.
• 모델은 실제 검출 결과를 평가에 사용하고, 시뮬레이션에서는 참값 레이블을 사용해 SUN RGB-D 데이터셋에서 학습 및 평가된다.
• 모델은 정보성이 높은 영역이 강조되도록 동적으로 객체 검출 신뢰도를 재점수화한다.

실험 결과

연구 질문

• RQ1 이론적으로 유리한데도 불구하고 문맥이 객체 검출 성능 향상에 자주 실패하는 이유는 무엇인가?
• RQ2 어떤 문맥 객체 카테고리가 특정 대상 객체 클래스를 예측하는 데 가장 예측력이 높은가? 그리고 이들의 예측 능력은 어떻게 다를까?
• RQ3 실세계 검출 시나리오에서 단순 '모든 영역 선택' 모델에 비해 동적 문맥 선택 메커니즘이 더 나은 성능을 낼 수 있는가?
• RQ4 외관 기반 검출기와 조합했을 때 문맥 선택은 얼마나 mAP 향상에 기여하는가?
• RQ5 오라클이 모든 참 긍정적 문맥 영역을 알고 있는 상황에서, 학습된 문맥 선택 모델은 얼마나 그 성능 상한에 가까워질 수 있는가?

주요 결과

• 오라클 제공 레이블이 있는 이상적 조건에서 순수한 문맥만으로도 높은 예측 정확도를 달성하여, 문맥 자체가 강력한 내재적 예측 능력을 지닌다는 것을 입증한다.
• 다른 객체 카테고리 간에 대상 객체 클래스 예측 능력에 큰 격차가 있으며, 일부(예: 베개에 대해 침대, 소파)는 매우 정보성이 높고, 다른 일부(예: 상자, 그림)는 정보가 없거나 오도할 수 있다.
• 제안된 문맥 선택 모델은 SUN RGB-D 테스트 세트에서 48.25%의 mAP를 달성하여, 외관 기반 검출(45.47%) 대비 2.8% 향상되었다.
• 오라클 기반 문맥 선택 모델(CS-O)은 49.43% mAP를 기록하여 상한선으로 기능하며, 제안된 방법은 이 성능에 매우 가까이 근접한다.
• 모델은 높은 정밀도로 정보성이 높은 영역을 선택한다: 베개의 경우 선택된 문맥 객체 중 92%가 참 긍정(예: 침대, 소파)이며, 책장의 경우 97%가 참 긍정(예: 책상, 테이블)이다.
• 시각화 결과는 모델이 박스나 그림과 같은 혼동 요소를 거부하고, 베개에 대해선 침대, 소파와 같은 관련성 있고 증거가 강한 영역만 선택함을 확인한다.