[논문 리뷰] Residual Features and Unified Prediction Network for Single Stage Detection

Kyoungmin Lee, Jaeseok Choi외 2명|arXiv (Cornell University)|2017. 07. 17.

Advanced Neural Network Applications참고 문헌 20인용 수 23

한 줄 요약

이 논문은 단일 단계 객체 검출기인 RUN(Residual Features and Unified Prediction Network)을 제안한다. 이는 ResNet과 디컨볼루션 특징을 조합한 3방향 잔차 블록을 사용해 얕은 층의 특징 표현을 향상시키며, 특징 맵 간 예측 헤드를 통합함으로써 성능을 향상시킨다. 이 방법은 PASCAL VOC 및 MS COCO에서 최신 기준 성능을 달성하면서도 유사 모델보다 빠른 추론 속도를 보이며, COCO에서 SSD보다 2.9% 높은 mAP를 기록하고 VGG-16 기반으로 실시간 속도를 유지한다.

ABSTRACT

Recently, a lot of single stage detectors using multi-scale features have been actively proposed. They are much faster than two stage detectors that use region proposal networks (RPN) without much degradation in the detection performances. However, the feature maps in the lower layers close to the input which are responsible for detecting small objects in a single stage detector have a problem of insufficient representation power because they are too shallow. There is also a structural contradiction that the feature maps have to deliver low-level information to next layers as well as contain high-level abstraction for prediction. In this paper, we propose a method to enrich the representation power of feature maps using Resblock and deconvolution layers. In addition, a unified prediction module is applied to generalize output results and boost earlier layers' representation power for prediction. The proposed method enables more precise prediction, which achieved higher score than SSD on PASCAL VOC and MS COCO. In addition, it maintains the advantage of fast computation of a single stage detector, which requires much less computation than other detectors with similar performance. Code is available at https://github.com/kmlee-snu/run

연구 동기 및 목표

• 특히 작은 객체에 대해 특징 맵의 표현 능력이 제한된 단일 단계 검출기의 문제를 해결한다.
• 초기 특징 맵이 저수준 세부 정보와 고수준 추상화를 동시에 처리해야 하는 구조적 모순을 해결한다.
• 추론 속도를 희생시키지 않은 채 맥락 이해를 향상시키고 중복 검출(예: '박스 안의 박스' 문제)을 줄인다.
• 특징 수준 간 예측을 일반화하여 얕은 층의 표현과 검출 성능을 향상시킨다.
• 경량 VGG-16 백본을 사용해 최소한의 계산 오버헤드로 높은 정확도를 달성하며, 속도-정확도 트레이드오���에서 더 깊은 모델을 초월한다.

제안 방법

• 잔차 연결(ResNet 스타일)과 디컨볼루션 업샘플링을 조합한 3방향 잔차 블록을 도입하여 맵의 맥락 정보를 풍부하게 한다.
• 디컨볼루션 분기를 적용해 고수준 의미 특징을 낮은 층으로 되돌려보내 작은 객체 검출을 위한 특징 표현을 향상시킨다.
• 개별 특징 층에서 유도된 다수의 예측 헤드를 단일 공유 예측 모듈로 통합하여 특징 추상화와 일반화를 향상시킨다.
• 통합된 예측 모듈을 통해 다중 척도 특징 간 엔드 투 엔드 학습을 가능하게 하면서도 계산 효율성을 유지한다.
• VGG-16 기반으로 네트워크를 엔드 투 엔드로 학습시키며, 잔차 및 디컨볼루션 구성 요소를 활용해 기울기 안정성과 특징 품질을 향상시킨다.
• ResNet-101과 같은 무거운 백본을 피함으로써 추론 속도를 최적화하고 소비자 GPU에서 실시간 성능을 유지한다.

실험 결과

연구 질문

• RQ1 잔차 및 디컨볼루션 모듈이 계산 비용 증가 없이 단일 단계 검출기의 얕은 층에서 특징 표현을 향상시킬 수 있는가?
• RQ2 특징 수준 간 예측 헤드를 통합함으로써 특징 추상화와 검출 정확도가 향상되는가?
• RQ3 경량 VGG-16 기반 모델이 실시간 추론을 유지하면서도 ResNet-101과 같은 더 깊은 모델을 초월할 수 있는가?
• RQ4 제안된 방법은 SSD 유사 검출기에서 흔한 '박스 안의 박스' 문제를 얼마나 효과적으로 줄이는가?
• RQ5 잔차 블록과 통합 예측의 조합이 최신 기준 mAP를 달성하면서도 속도 저하를 최소화할 수 있는가?

주요 결과

• RUN3WAY300은 MS COCO test-dev에서 28.0% mAP를 기록했으며, SSD300보다 2.9% 높고, 36% 느리지만 유사 정확도의 ResNet-101 기반 모델보다 빠르다.
• RUN3WAY512는 MS COCO에서 32.4% mAP를 달성했으며, SSD512보다 3.6% 높고, RetinaNet 이외의 방법들 중에서 작은 객체에 대해 가장 높은 평균 정밀도와 재현율을 보였다.
• RUN3WAY512는 Titan X Pascal에서 29.8 FPS를 기록해, 향상된 정확도에도 불구하고 실시간 추론 능력을 입증했다.
• 더 깊은 네트워크를 사용하지 않고도 RUN은 VGG-16 백본을 사용함에도 불구하고 SSD300보다 2.9% 높고 SSD512보다 3.6% 높은 mAP를 기록했다.
• 통합 예측 모듈은 특징 추상화를 크게 향상시켜 중복 검출을 줄이고 다중 척도 간 일반화 능력을 향상시켰다.
• RUN은 특징 표현 향상과 함께 높은 속도를 유지해, 단일 단계 검출에서 정확도와 추론 시간의 균형을 효과적으로 확립했다.