[논문 리뷰] Re-ranking Object Proposals for Object Detection in Automatic Driving

Zhun Zhong, Mingyi Lei외 2명|arXiv (Cornell University)|2016. 05. 19.

Advanced Neural Network Applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 자율주행 환경에서 객체 제안에 대해 의미 분할, 스테레오 깊이, 맥락 정보, CNN 기반 객체도, 그리고 저수준 특징을 활용한 클래스별 재순서 정렬 방법을 제안한다. 구조적 서포트 벡터 머신(Structured SVM)을 통해 클래스별 가중치를 학습함으로써, 특히 엄격한 IoU 임계치에서 유의미하게 높은 재현율을 달성하여, 1,000개의 제안만으로도 기존의 5,000개 제안을 사용하는 기준보다 우수한 검출 성능을 내는 상태를 달성한다.

ABSTRACT

Object detection often suffers from a plenty of bootless proposals, selecting high quality proposals remains a great challenge. In this paper, we propose a semantic, class-specific approach to re-rank object proposals, which can consistently improve the recall performance even with less proposals. We first extract features for each proposal including semantic segmentation, stereo information, contextual information, CNN-based objectness and low-level cue, and then score them using class-specific weights learnt by Structured SVM. The advantages of the proposed model are twofold: 1) it can be easily merged to existing generators with few computational costs, and 2) it can achieve high recall rate uner strict critical even using less proposals. Experimental evaluation on the KITTI benchmark demonstrates that our approach significantly improves existing popular generators on recall performance. Moreover, in the experiment conducted for object detection, even with 1,500 proposals, our approach can still have higher average precision (AP) than baselines with 5,000 proposals.

연구 동기 및 목표

• 자율주행 환경에서 엄격한 IoU 기준(예: IoU > 0.7)을 적용할 경우 객체 제안 방법의 낮은 재현율 문제를 해결한다.
• 기존 방법의 아키텍처를 수정하지 않고도 객체 제안 품질을 향상시킨다.
• 계산 비용을 줄이기 위해 크게 줄어든 제안 수(예: 1,000개)로도 높은 재현율과 검출 정확도를 확보한다.
• 복잡한 주행 환경에서 클래스 무관 접근 방식보다 뛰어난 성능을 보이는 클래스별 재순서 정렬 전략을 도입한다.
• 특히 차량, 자전거 기사, 보행자와 같은 도전적인 객체 카테고리가 포함된 KITTI 데이터셋을 포함해 여러 객체 검출 벤치마크에서 일관된 향상을 입증한다.

제안 방법

• 각 객체 제안에 대해 의미 분할(도시스케이프에서 미세조정된 DeepLab 기반), 스테레오 디스parity(제본타르 등의 CNN 방법 사용), 맥락 정보, CNN 기반 객체도(DeepBox 기반), 저수준 특징을 포함한 다중 모달 특징을 추출한다.
• 결합된 특징 벡터를 기반으로 각 객체 카테고리별로 제안을 평가하는 클래스별 가중치를 구조적 서포트 벡터 머신을 통해 학습한다.
• 각 객체 카테고리별로 특징 벡터와 학습된 가중치 간의 내적을 계산하여 제안을 재순서 정렬한다.
• 기존의 어떤 객체 제안 생성기에도 최소한의 계산 오버헤드로 통합 가능한 플러그인 모듈로 재순서 정렬 모듈을 통합한다.
• 재순서 정렬된 제안을 빠른 R-CNN 검출기의 입력으로 사용하여 검출 성능을 평가한다.
• 추론 속도 최적화를 통해 단일 코어에서 1장의 이미지당 0.79초의 처리 시간을 달성하였으며, 병렬 처리를 통해 실시간 성능 달성이 가능하다.

실험 결과

연구 질문

• RQ1 클래스 무관 접근 방식에 비해 클래스별 재순서 정렬 전략이 엄격한 IoU 임계치(예: IoU > 0.7)에서 재현율을 유의미하게 향상시킬 수 있는가?
• RQ2 재순서 정렬을 통해 자율주행 환경에서 높은 검출 정확도를 유지하기 위해 필요한 제안 수를 얼마나 줄일 수 있는가?
• RQ3 의미, 스테레오, 맥락, CNN 기반 특징을 통합할 경우, 다양한 객체 카테고리 간 제안 품질에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 KITTI 벤치마크에서 3DOP, EdgeBoxes, Selective Search 등의 다양한 객체 제안 생성기에서 일관되게 재현율과 평균 정밀도를 향상시키는가?
• RQ5 더 적은 수의 제안(예: 1,000개)을 사용하는 재순서 정렬된 제안이 더 많은 수의 제안(예: 5,000개)을 사용하는 비순서 정렬된 제안보다 높은 평균 정밀도를 달성할 수 있는가?

주요 결과

• Re-3DOP는 1,000개의 제안만으로도 모든 난이도 수준에서 차량에 대해 90%의 재현율을 달성하며, 5,000개 제안을 사용하는 3DOP를 능가한다.
• Re-EB는 쉬운 난이도 수준에서 IoU=0.7일 때 세 클래스(차량, 자전거 기사, 보행자) 모두에 대해 1,000개 제안으로 80%의 재현율을 확보한다.
• Re-3DOP는 1,000개 제안으로 평균 정밀도(AP) 88.34%를 기록하여 5,000개 제안을 사용하는 3DOP의 AP 88.26%를 略로 초월한다.
• Re-EB는 1,500개 제안으로 76.81%의 AP를 기록하며, 5,000개 제안을 사용하는 EB의 76.62% AP를 초월한다.
• Re-SS는 500개 제안으로 51.51%의 AP를 기록하여, 5,143%의 AP를 기록하는 SS와 동일한 성능을 내지만 제안 수를 4배 줄였다.
• 시각화 결과에 따르면, Re-3DOP는 3DOP보다 더 효과적으로 관련 없는 영역을 제거하여 상위 100개 제안 내의 가짜 양성(false positives)을 감소시켰다.