[논문 리뷰] Accurate Single Stage Detector Using Recurrent Rolling Convolution

Jimmy Ren, Xiaohao Chen외 6명|arXiv (Cornell University)|2017. 04. 19.

Advanced Neural Network Applications참고 문헌 21인용 수 45

한 줄 요약

이 논문은 단일 단계 객체 검출기의 경계 박스 예측을 깊이 있고 맥락 인식 가능한 방식으로 개선하기 위해 반복적인 다중 척도 특징의 집합을 통해 수행하는 새로운 아키텍처인 순환 롤링 컨볼루션(RRC)을 제안한다. 이 방법은 KITTI 벤치마크에서 차량 검출(하드 셋)에서 1위, 자전거 기사 검출에서 1위, 보행자 검출에서 2위를 기록하여, 더 강력한 백본을 사용하지 않더라도 종료형 단일 단계 검출기가 이중 단계 방법을 능가할 수 있음을 보여준다. 특히 고 IoU 정밀도에서의 국소화 정확도 향상에 성공한다.

ABSTRACT

Most of the recent successful methods in accurate object detection and localization used some variants of R-CNN style two stage Convolutional Neural Networks (CNN) where plausible regions were proposed in the first stage then followed by a second stage for decision refinement. Despite the simplicity of training and the efficiency in deployment, the single stage detection methods have not been as competitive when evaluated in benchmarks consider mAP for high IoU thresholds. In this paper, we proposed a novel single stage end-to-end trainable object detection network to overcome this limitation. We achieved this by introducing Recurrent Rolling Convolution (RRC) architecture over multi-scale feature maps to construct object classifiers and bounding box regressors which are "deep in context". We evaluated our method in the challenging KITTI dataset which measures methods under IoU threshold of 0.7. We showed that with RRC, a single reduced VGG-16 based model already significantly outperformed all the previously published results. At the time this paper was written our models ranked the first in KITTI car detection (the hard level), the first in cyclist detection and the second in pedestrian detection. These results were not reached by the previous single stage methods. The code is publicly available.

연구 동기 및 목표

• 단일 단계 검출기가 소형 또는 가림을 입은 객체에 대해 높은 IoU 경계 박자를 생성하는 데에 한계가 있다는 문제를 해결하기 위해.
• 영역 제안 네트워크나 더 깊은 백본에 의존하지 않고도 단일 단계 검출기의 국소화 정확도를 향상시키기 위해.
• 어려운 벤치마크인 KITTI에서 경쟁적인 성능을 내는 종료형 단일 단계 검출기의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 반복적인 특징 집합을 통한 맥락 인식 개선이 표준 단일 단계 회귀보다 뛰어난 성능을 낼 수 있는지 확인하기 위해.

제안 방법

• 다중 척도 특징 맵을 통해 맥락적 특징을 반복적으로 집계함으로써 객체 제안을 반복적으로 개선하는 순환 아키텍처인 순환 롤링 컨볼루션(RRC)을 도입한다.
• RRC를 단일 단계 검출기의 경계 박자 회귀 및 객체 분류에 적용하여 '맥락에서 깊이 있는' 특징 개선을 가능하게 한다.
• RRC의 기여를 백본의 능력과 분리하기 위해 감소된 VGG-16 백본을 사용하여 성능 향상이 제안된 모듈 덕분임을 보장한다.
• 표준 비최대 억제(NMS)를 출력 3~5에 적용하지만, 분석 결과 후속 출력에 대한 NMS 적용보다 성능 향상이 뚜렷함을 확인하였다.
• RRC 모듈을 롤링되고 반복적인 방식으로 특징을 처리하도록 설계하여 점진적이고 선택적인 맥락 통합을 가능하게 한다.
• 전체 네트워크를 엔드 투 엔드로 훈련시켜 특징 추출, 맥락 집합, 검출 헤드 예측의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 영역 제안이나 더 깊은 백본을 사용하지 않고도 단일 단계 검출기가 KITTI와 같은 고 IoU 기준 벤치마크에서 최고 성능을 낼 수 있는가?
• RQ2 경계 박자 예측의 반복적이고 맥락 인식 가능한 개선이 소형 또는 가림을 입은 객체의 국소화 정확도 향상에 뚜렷한 영향을 미치는가?
• RQ3 새로운 반복적 특징 집합 모듈을 갖춘 단일 단계 검출기의 엔드 투 엔드 훈련이, 고 IoU 임계값에서 기존의 이중 단계 방법보다 mAP 성능을 뛰어나게 할 수 있는가?
• RQ4 성능 향상은 RRC 모듈 자체의 기여 때문인가, 아니면 더 강력한 백본 네트워크 덕분인가?

주요 결과

• RRC 기반 단일 단계 검출기는 KITTI 차량 검출 테스트 세트(하드 카테고리)에서 mAP 89.85%를 기록하여 이전에 발표된 모든 결과를 초월했다.
• RRC 모델의 앙상블은 동일한 벤치마크에서 mAP 90.19%를 기록하여, 비공개 익명 제출까지 포함한 모든 제출 방법 중 1위를 차지했다.
• 보행자 검출 벤치마크(중간 세트)에서 RRC는 mAP 75.33%를 기록하여 2위를 차지하며 이전에 발표된 방법들을 모두 능가했다.
• 자전거 기사 검출 벤치마크(중간 세트)에서 RRC는 mAP 76.47%를 기록하여, 공개 및 익명 제출 모두에서 1위를 기록했다.
• IoU 임계값을 0.8로 높였을 때 RRC는 기준 SSD보다 6% 이상 높은 성능을 보였으며, 이는 고정밀 국소화에서의 효과를 확인한 것이다.
• 분석 결과, RRC는 후속 출력에 대한 NMS를 적용한 변형(RRC*)보다 일관되게 뛰어난 성능을 보였으며, 제안된 아키텍처의 강건성을 입증했다.