[논문 리뷰] Feature Selective Small Object Detection via Knowledge-based Recurrent Attentive Neural Network

Kai Yi, Zhiqiang Jian외 2명|arXiv (Cornell University)|2018. 03. 13.

Advanced Neural Network Applications참고 문헌 22인용 수 7

한 줄 요약

이 논문은 자율주행 환경에서 소형 객체 검출을 위한 지식 기반 순환 주의 신경망(KB-RANN)을 제안한다. 이는 도메인 지식과 주의 메커니즘을 활용해 급격히 강조되는 특징을 선택적으로 향상시킨다. KITTI 및 BTSD 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 실시간 추론 속도를 유지하며, TensorRT 최적화를 통해 임베디드 TX2 플랫폼에서 10 FPS로 성공적으로 배포되었다.

ABSTRACT

At present, the performance of deep neural network in general object detection is comparable to or even surpasses that of human beings. However, due to the limitations of deep learning itself, the small proportion of feature pixels, and the occurence of blur and occlusion, the detection of small objects in complex scenes is still an open question. But we can not deny that real-time and accurate object detection is fundamental to automatic perception and subsequent perception-based decision-making and planning tasks of autonomous driving. Considering the characteristics of small objects in autonomous driving scene, we proposed a novel method named KB-RANN, which based on domain knowledge, intuitive experience and feature attentive selection. It can focus on particular parts of image features, and then it tries to stress the importance of these features and strengthenes the learning parameters of them. Our comparative experiments on KITTI and COCO datasets show that our proposed method can achieve considerable results both in speed and accuracy, and can improve the effect of small object detection through self-selection of important features and continuous enhancement of proposed method, and deployed it in our self-developed autonomous driving car.

연구 동기 및 목표

• 복잡한 실제 자율주행 환경에서 소형 객체, 특히 교통 표지와 보행자를 검출하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 도메인 전문 지식(예: 운전 가능한 영역에 인간의 시선이 집중되는 경향)을 딥 러닝 모델에 통합하여 소형 객체 검출 정확도를 향상시키기 위해.
• 다중 레이어에 걸쳐 중요한 특징을 선택적으로 강화하는 순환 주의 메커니즘을 통해 특징 표현을 향상시키기 위해.
• 저전력 임베디드 플랫폼에서 실시간 추론을 달성하여 자율주행 차량에 필수적인 성능을 확보하기 위해.
• KITTI에서 BTSD로의 효과적인 지식 전이 및 임베디드 배포를 위한 모델 압축을 지원하기 위해.

제안 방법

• 소형 객체 검출을 향상시키기 위해 다중 해상도 입력을 지원하는 전체 컨volution 레이어와 추가적인 파이어 모듈을 갖춘 수정된 SqueezeNet 백본을 사용한다.
• 학습된 주의 가중치를 통해 중요도가 높은 특징에 집중함으로써 반복적으로 특징 표현을 개선하는 새로운 순환 주의 신경망(RANN) 모듈을 도입한다.
• 인간이 중심적인 운전 가능한 영역과 그 곳에 위치한 교통 표지에 주목하는 경향이라는 도메인 지식을 공간적 편향으로 네트워크에 통합하여 특징 주의를 안내한다.
• 강화된 특징 맵을 처리하기 위해 계층적 소형 컨볼루션 네트워크 아키텍처를 사용하고, 최종 검출 출력을 위해 소프트맥스 회귀를 적용한다.
• 모델 압축을 위해 지식 정복과 채널 프루닝을 적용하여 임베디드 시스템에 효율적인 배포를 가능하게 한다.
• NVIDIA Jetson TX2 플랫폼에서 추론을 가속화하기 위해 TensorRT를 사용하여 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 도메인 특화 지식과 인간의 주의 편향을 통합함으로써 자율주행 환경에서 소형 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 순환 주의 메커니즘이 여러 특징 맵 레이어에 걸쳐 소형 객체의 특징 표현을 어떻게 향상시키는가?
• RQ3 지식 유도 주의 기반 네트워크가 RetinaNet 및 SqueezeDet와 같은 표준 단일단계 검출기보다 정확도와 속도 면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 KB-RANN 모델은 KITTI에서 BTSD로의 데이터셋 간 일반화 능력이 얼마나 뛰어나며, 최소한의 피팅 조정으로도 성능을 유지하는가?
• RQ5 모델 압축 및 가속화(예: TensorRT를 통한)는 실생활 자율주행 차량의 저전력 임베디드 플랫폼에 KB-RANN을 배포하는 데 얼마나 효과적인가?

주요 결과

• KITTI 데이터셋에서 KB-RANN은 IoU=0.3일 때 평균 정밀도(mAP)가 0.90, IoU=0.5일 때 0.71을 기록하여 Faster R-CNN, RetinaNet, SqueezeDet, KB-RCNN를 모두 능가한다.
• 입력 해상도를 감소시킨 BTSD 데이터셋(541×412)에서도 KB-RANN은 IoU=0.3일 때 mAP가 0.90, IoU=0.5일 때 0.71을 기록하여 뛰어난 일반화 능력과 해상도 변화에 대한 강건성을 입증한다.
• TX2 플랫폼에서 전체 처리 파이프라인(포스트프로세싱 및 I/O 포함)을 거치며 9.45 FPS를 기록하여 실시간 기능을 입증한다.
• KB-RANN은 강력한 지식 전이 능력을 보이며, KITTI에서의 직접 전이 후 피팅 조정 없이도 BTSD에서 높은 성능을 달성한다.
• 자체 개발한 자율주행 차량에 성공적으로 배포되어, TensorRT 최적화 후 TX2 플랫폼에서 10 FPS로 실시간 검출을 구현하였다.
• 시각화 결과는 KB-RANN이 Faster R-CNN 및 SqueezeDet보다 특히 가림되거나 흐릿한 조건에서 소형 교통 표지 검출 능력이 뛰어나다는 것을 확인한다.