[논문 리뷰] Deep Person Detection in 2D Range Data

Lucas Beyer, Alexander Hermans외 3명|arXiv (Cornell University)|2018. 04. 06.

Human Pose and Action Recognition참고 문헌 14인용 수 5

한 줄 요약

이 논문은 DROW 딥러닝 검출기의 범위를 2D 레이저 범위 데이터에서 사람 검출로 확장하며, 신뢰도 점수와 검출 위치 정밀도를 향상시킨 후처리 기법을 도입하고, 짧은 시간 윈도우를 통한 온라인 시간적 맥락 통합을 구현한다. 이는 새로 공개된 대규모 실세계 환경에서의 2D 범위 데이터에 대한 사람 주석 데이터셋에서 가장 강력한 베이스라인 대비 10.3%의 AUC 향상을 달성한다.

ABSTRACT

Detecting humans is a key skill for mobile robots and intelligent vehicles in a large variety of applications. While the problem is well studied for certain sensory modalities such as image data, few works exist that address this detection task using 2D range data. However, a widespread sensory setup for many mobile robots in service and domestic applications contains a horizontally mounted 2D laser scanner. Detecting people from 2D range data is challenging due to the speed and dynamics of human leg motion and the high levels of occlusion and self-occlusion particularly in crowds of people. While previous approaches mostly relied on handcrafted features, we recently developed the deep learning based wheelchair and walker detector DROW. In this paper, we show the generalization to people, including small modifications that significantly boost DROW's performance. Additionally, by providing a small, fully online temporal window in our network, we further boost our score. We extend the DROW dataset with person annotations, making this the largest dataset of person annotations in 2D range data, recorded during several days in a real-world environment with high diversity. Extensive experiments with three current baseline methods indicate it is a challenging dataset, on which our improved DROW detector beats the current state-of-the-art.

연구 동기 및 목표

• 서비스 로봇과 자율주행차에서 흔히 사용되는 희박한 2D 레이저 범위 데이터에서 사람을 검출하는 문제를 해결하기 위해.
• 손으로 설계한 특징 기반 방법과 두 다리 추적 가정의 한계를 극복하기 위해, 특히 가림이나 옷차림 변화 상황에서 실패하는 문제를 해결하기 위해.
• 2D 범위 스캔에서 동시에 사람, 휠체어, 보행보조기구를 검출할 수 있는 딥러닝 기반 다중 클래스 검출기(DROW)를 개발하기 위해.
• 향상된 후처리와 온라인 시간적 맥락 통합을 통해 검출 성능을 향상시키기 위해.
• 실세계 환경에서 촬영한 2D 범위 데이터에 대한 사람 주석을 포함한 가장 큰 공개 데이터셋을 제작하고 공개하기 위해.

제안 방법

• DROW 검출기를 기존의 2D 범위 스캔용 엔드 투 엔드 학습 프레임워크 유지하면서 새로운 사람 클래스를 추가하여 확장한다.
• 기존의 투표 기반 후처리를 개선하여 검출 별 신뢰도 추정이 가능하게 하고 이산화 잔여물(디스cretization artifacts)을 줄인다.
• 특징 표현 능력을 향상시키기 위해 컨볼루션 신경망(CNN) 아키텍처 크기를 약간 증가시킨다.
• 최근 레이저 스캔 여러 장을 동시에 처리할 수 있도록 완전히 온라인인 시간 윈도우를 도입한다.
• 추적 모듈을 별도로 두지 않고 네트워크 내부에서 공간적 정보와 시간적 정보를 융합하기 위해 일찍이 융합 전략을 적용한다.
• 오도메트리 기반 시간적 정렬을 활용해 현재 스캔과 몇 차례 이전 스캔을 단순하지만 효과적인 융합 메커니즘으로 조합한다.

실험 결과

연구 질문

• RQ1 DROW와 같은 딥러닝 기반 검출기가 원래의 휠체어와 보행보조기구 중심의 목표에서 벗어나 2D 범위 데이터에서 사람 검출에 효과적으로 일반화될 수 있는가?
• RQ2 최근 레이저 스캔에서의 시간적 맥락 통합이 희박하게 표현된 사람 검출 성능을 어떻게 향상시키는가?
• RQ3 신뢰도 추정과 더 정밀한 위치 정확도를 가능하게 하는 개선된 후처리가 원래 DROW의 투표 방식을 능가하는가?
• RQ4 실세계적이고 다양한 조건의 데이터셋에서 제안된 방법이 최신 수준의 수작업 특징 기반 및 추적 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 시간적 맥락 통합이 2D 범위 데이터에서의 사람 검출에서 희박성과 가림 문제를 어느 정도 완화하는가?

주요 결과

• 제안된 확장된 DROW 검출기는 새로운 데이터셋에서 가장 강력한 베이스라인 대비 10.3%의 절대 AUC 향상을 달성하여 새로운 최고 성능을 확립한다.
• 개선된 후처리 기법은 의미 있는 신뢰도 점수를 제공하고 검출 이산화를 줄여 더 정확하고 신뢰할 수 있는 예측을 가능하게 한다.
• 최근 스캔의 소규모 온라인 시간 윈도우를 통합함으로써 성능 향상이 뚜렷하게 향상되었으며, 특히 사람과 보행보조기구 검출에 있어 시간 모델링의 가치를 입증한다.
• 더 엄격한 국소화 기준(0.3m 반경)에서도 강력한 성능 유지를 보였으며, 칼만 필터 유도 지연으로 인한 성능 저하를 겪는 다리 추적 기반 베이스라인을 능가한다.
• 1,000개 이상의 주석이 부여된 프레임과 다양한 실세계 조건을 포함한 데이터셋은 2D 범위 데이터에서 사람 검출을 위한 가장 큰 공개 데이터셋이다.
• Hyperopt를 통한 하이퍼파rameter 튜닝 결과 비직관적인 값이 도출되었지만, 모델은 여전히 강건하여 강력한 일반화 능력과 적응성을 보여준다.