[논문 리뷰] Illuminating Pedestrians via Simultaneous Detection & Segmentation

Garrick Brazil, Xi Yin외 1명|arXiv (Cornell University)|2017. 06. 26.

Advanced Neural Network Applications참고 문헌 27인용 수 69

한 줄 요약

이 논문은 세분화 유입층을 통해 특징 맵을 향상시켜 동시에 보행자 검출과 의미적 세분화를 수행하는 다중 작업 학습 프레임워크인 SDS-RCNN을 제안한다. 공유 백본 레이어에 세분화 감독을 통합함으로써 검출 정확도를 향상시켜 캘테크에서 상대 오차를 23% 감소시켰으며, 경쟁 기법 대비 2배 빠른 추론 속도를 유지한다.

ABSTRACT

Pedestrian detection is a critical problem in computer vision with significant impact on safety in urban autonomous driving. In this work, we explore how semantic segmentation can be used to boost pedestrian detection accuracy while having little to no impact on network efficiency. We propose a segmentation infusion network to enable joint supervision on semantic segmentation and pedestrian detection. When placed properly, the additional supervision helps guide features in shared layers to become more sophisticated and helpful for the downstream pedestrian detector. Using this approach, we find weakly annotated boxes to be sufficient for considerable performance gains. We provide an in-depth analysis to demonstrate how shared layers are shaped by the segmentation supervision. In doing so, we show that the resulting feature maps become more semantically meaningful and robust to shape and occlusion. Overall, our simultaneous detection and segmentation framework achieves a considerable gain over the state-of-the-art on the Caltech pedestrian dataset, competitive performance on KITTI, and executes 2x faster than competitive methods.

연구 동기 및 목표

• 캘테크 및 킷티와 같은 벤치마크 데이터셋에서 의미적 세분화 감독을 활용해 보행자 검출 정확도를 향상시키기.
• 보행자 데이터셋에서 픽셀 수준의 애너테이션 부족 문제를 해결하기 위해 약한 감독 기반 세분화 신호를 활용하기.
• 추론 효율성을 훼손하지 않으면서 특징 표현을 향상시키는 다중 작업 학습 프레임워크 설계하기.
• 세분화 유입을 통한 공동 학습이 보행자 검출을 위한 더 의미적으로 명확하고 강력한 특징을 만들어내는지 입증하기.
• 고속 추론을 유지하면서 캘테크에서 최고 성능을 달성하여 기존 방법보다 정확도와 속도 양면에서 뛰어나게 하기.

제안 방법

• 더 엄격한 감독을 위해 두 번째 단계 분류기의 수정이 가미된 Faster R-CNN 기반의 이단계 검출 프레임워크 제안.
• 학습 중 공유 컨볼루션 레이어에 의미적 세분화 감독을 통합하는 세분화 유입층 도입.
• RPN(영역 제안 네트워크)과 두 번째 단계 분류기(BCN)의 점수를 융합하여 검출 신뢰도를 향상시키고 가짜 양성 결과를 줄이기.
• 동일한 백본 네트워크를 보행자 검출과 의미적 세분화를 동시에 학습시키는 다중 작업 학습 기반 설계.
• 특징 맵을 시각화하여 세분화 유입이 보행자 영역의 활성화를 증가시키고 배경을 억제함으로써 특징의 구분 능력을 향상시키는지 분석하기.
• 학습 중에만 세분화 유입을 적용함으로써 추론 효율성을 최적화하고 빠른 추론 속도 유지하기.

실험 결과

연구 질문

• RQ1 약한 감독 기반 의미적 세분화가 추론 속도를 저하시키지 않고 보행자 검출 성능을 향상시킬 수 있는가?
• RQ2 세분화 감독을 통한 공동 학습이 공유 특징 맵의 품질과 의미적 내용에 어떤 영향을 미치는가?
• RQ3 RPN과 두 번째 단계 분류기 간의 점수 융합이 가짜 양성 결과를 얼마나 줄이고 국소화 정확도를 향상시키는가?
• RQ4 이단계 검출 프레임워크에서 특징 공유와 네트워크 다각화 사이의 상호 보완적 관계는 어떠한가?
• RQ5 세분화 유입이 가림 및 자세 변화 상황에서도 더 강력한 검출 성능을 이끌어낼 수 있는가?

주요 결과

• 제안된 SDS-RCNN는 캘테크 보행자 검출 벤치마크에서 상대 오차율을 23% 감소시켜 새로운 최고 성능을 달성했다.
• 특징 맵 시각화 결과, 세분화 유입이 네트워크가 보행자 영역을 '빛비추는' 방식으로 활성화시키고 배경을 억제함으로써 구분 능력을 향상시킨다.
• 경쟁 기반 최고 수준의 방법 대비 약 2배 빠른 속도로 작동하여 다중 작업 학습임에도 불구하고 높은 효율성을 유지한다.
• RPN과 BCN 간의 점수 융합으로 가짜 양성 결과가 약 22% 감소하였으며, 특히 고점수 배경 제안 항목을 효과적으로 수정한다.
• 두 번째 단계 분류기에서 더 엄격한 감독을 적용함으로써 이중 검출 현상이 크게 감소하고 국소화 정확도가 향상된다.
• 최대 성능는 최소한의 특징 공유(예: 공유 없음 또는 초기 레이어에서 공유) 조건에서 달성되며, 이는 네트워크 다각화가 융합 효과를 향상시킨다는 것을 시사한다.