[논문 리뷰] Comparing Apples and Oranges: Off-Road Pedestrian Detection on the NREC Agricultural Person-Detection Dataset

Zachary Pezzementi, Trenton Tabor외 6명|arXiv (Cornell University)|2017. 07. 22.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 8

한 줄 요약

이 논문은 사과 및 오렌지 농장의 트랙터와 택시에서 촬영한 스테레오 비디오 기반 대규모 벤치마크인 NREC 农업 인명 탐지 데이터셋을 소개한다. 이 데이터셋에는 76,000개의 레이블링된 인명 이미지와 19,000개의 인명이 없는 이미지가 포함되어 있다. 농촌 외곽 환경에서는 도시 보행자 탐지 모델이 음영, 비표준 자세, 복잡한 배경으로 인해 성능이 떨어지며, 맥락적 이미지 특징을 활용해 성능을 향상시키는 새로운 컨volution 신경망 기반 방법을 제안한다.

ABSTRACT

Person detection from vehicles has made rapid progress recently with the advent of multiple highquality datasets of urban and highway driving, yet no large-scale benchmark is available for the same problem in off-road or agricultural environments. Here we present the NREC Agricultural Person-Detection Dataset to spur research in these environments. It consists of labeled stereo video of people in orange and apple orchards taken from two perception platforms (a tractor and a pickup truck), along with vehicle position data from RTK GPS. We define a benchmark on part of the dataset that combines a total of 76k labeled person images and 19k sampled person-free images. The dataset highlights several key challenges of the domain, including varying environment, substantial occlusion by vegetation, people in motion and in non-standard poses, and people seen from a variety of distances; meta-data are included to allow targeted evaluation of each of these effects. Finally, we present baseline detection performance results for three leading approaches from urban pedestrian detection and our own convolutional neural network approach that benefits from the incorporation of additional image context. We show that the success of existing approaches on urban data does not transfer directly to this domain.

연구 동기 및 목표

• 농업 환경에서 외곽 보행자 탐지에 대한 대규모 벤치마크가 부족한 문제를 해결하기 위해.
• 밀도 높은 식생에 의한 음영, 비표준 인간 자세, 변동하는 조명 조건 등 도시 탐지 모델의 이식성에 장애가 되는 농업 환경의 고유한 과제를 드러내기 위해.
• 스테레오 비디오와 RTK GPS 데이터를 활용해 사과 농장에서의 인명 탐지 평가를 위한 표준화된 벤치마크를 구축하기 위해.
• 도시 기반 탐지 방법이 외곽 농업 환경으로의 이식 가능성 평가하기 위해.
• 잡다한 농업 환경에서의 탐지 성능 향상을 위해 맥락적 이미지 특징을 명시적으로 통합한 새로운 컨volution 신경망 접근법을 개발하고 검증하기 위해.

제안 방법

• 데이터셋은 트랙터와 택시 두 대의 인식 플랫폼을 사용하여 수집되었으며, 20cm 기준선 스테레오 카메라와 정밀 차량 위치 측정을 위한 RTK GPS를 탑재하였다.
• 레이블링된 데이터는 사과 및 오렌지 농장 두 곳에서 확보한 76,000개의 인명 인스턴스와 19,000개의 인명이 없는 이미지로 구성되며, 음영, 자세, 거리 영향을 타겟팅해 평가할 수 있도록 메타데이터를 포함하고 있다.
• 카메라 내재 매개변수와 정규화는 로봇 암과 동시 최적화를 통해 사용 가능한 픽셀 수를 극대화하도록 캘리브레이션하였다.
• 차량 위치 데이터는 측정된 장착 기하학적 정보를 기반으로 보간 및 카메라 프레임으로 변환되었으며, KITTI 오odom계 형식으로 공개되었다.
• 기본 벤치마크는 주 카메라의 레이블링된 이미지만을 사용하여 단일 이미지 기반 탐지 방법의 평가를 가능하게 하였다.
• 잡다하고 음영이 많은 농업 환경에서의 탐지에 대한 강건성을 향상시키기 위해 맥락적 이미지 특징을 명시적으로 통합한 새로운 컨volution 신경망 기반 탐지 모델을 학습시켰다.

실험 결과

연구 질문

• RQ1 최첨단 도시 보행자 탐지 모델이 외곽 농업 환경으로 일반화되는 정도는 어느 정도인가?
• RQ2 식생에 의한 음영, 비표준 인간 자세, 변동하는 시야 거리가 농장 환경에서의 탐지 성능에 미치는 영향은 어떠한가?
• RQ3 맥락 인식 기반 딥 러닝 모델이 표준 도시 기반 탐지기법에 비해 복잡한 농업 환경에서의 탐지 정확도를 향상시킬 수 있는가?
• RQ4 GPS 및 스테레오 비전에서 유도된 시간적 및 기하학적 사전 지식의 포함이 외곽 조건에서의 탐지 강건성에 어떻게 기여하는가?
• RQ5 사과 농장과 오렌지 농장 간의 탐지 성능 차이는 무엇이며, 유사하지만 상이한 이 둘 간의 지식 이식 가능성은 어느 정도인가?

주요 결과

• 기존의 도시 보행자 탐지 모델은 농업 외곽 환경에서 성능이 크게 떨어지며, 도시에서 외곽 도메인으로의 이식 가능성은 제한적임을 입증한다.
• NREC 농업 인명 탐지 데이터셋은 식생에 의한 광범위한 음영, 동적인 식생 움직임, 다양한 인간 자세 등이 도시 데이터셋에서 부족하게 다뤄지는 심각한 과제를 드러낸다.
• 맥락적 이미지 특징을 명시적으로 활용하는 새로운 컨볼루션 신경망 기반 탐지 모델은 특히 음영과 혼잡한 환경에서 표준 도시 모델에 비해 탐지 정확도를 향상시킨다.
• 벤치마크는 사과 농장과 오렌지 농장 간 성능에 상당한 차이가 있음을 확인하였으며, 이는 탐지 강건성에 영향을 주는 도메인 특화 특성임을 시사한다.
• RTK GPS 및 스테레오 비전 데이터의 포함은 더 나은 정위치 및 시간 모델링을 가능하게 하며, 이는 비디오 기반 시스템의 탐지 성능 향상에 활용될 수 있다.
• 인명이 포함되지 않은 레이블 없는 로그를 전체적으로 공개하여, 시각적 오도메트리, 운동 추정, 비디오 기반 탐지 연구를 핵심 벤치마크를 초월해 수행할 수 있도록 하였다.