[논문 리뷰] Occupancy Map Prediction Using Generative and Fully Convolutional Networks for Vehicle Navigation

Kapil D. Katyal, Katie M. Popek외 5명|arXiv (Cornell University)|2018. 03. 06.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 11

한 줄 요약

이 논문은 로봇의 센서 시야 외부의 향후 점유도 지도를 예측하기 위해 생성적 및 완전 컨volution 신경망을 사용하는 딥러닝 접근법을 제안한다. 이를 통해 장거리 계획 수립이 가능해진다. 시뮬레이션 및 실제 LIDAR 데이터를 바탕으로 U-Net과 GAN 기반 아키텍처를 적용하여, 합성 데이터에서 최대 SSIM 0.899를 달성했으며, 2.00x 확장 조건에서도 물리적 데이터에서 정성적으로 정확한 예측을 보였고, GAN은 세부 구조에서 향상된 성능을 보였다.

ABSTRACT

Fast, collision-free motion through unknown environments remains a challenging problem for robotic systems. In these situations, the robot's ability to reason about its future motion is often severely limited by sensor field of view (FOV). By contrast, biological systems routinely make decisions by taking into consideration what might exist beyond their FOV based on prior experience. In this paper, we present an approach for predicting occupancy map representations of sensor data for future robot motions using deep neural networks. We evaluate several deep network architectures, including purely generative and adversarial models. Testing on both simulated and real environments we demonstrated performance both qualitatively and quantitatively, with SSIM similarity measure up to 0.899. We showed that it is possible to make predictions about occupied space beyond the physical robot's FOV from simulated training data. In the future, this method will allow robots to navigate through unknown environments in a faster, safer manner.

연구 동기 및 목표

• 센서의 시야를 초월한 예측 점유도 지도를 활용해 고속이고 충돌 없는 주행을 가능하게 하기 위해.
• 이전의 공간적 경험을 활용해 보이지 않는 환경 구조를 예측하는 딥러닝 프레임워크를 개발하기 위해.
• 모의 환경과 실제 환경 모두에서 점유도 지도 예측에 대해 생성적 모델과 완전 컨volution 신경망을 평가하고 비교하기 위해.
• 실제 LIDAR 데이터를 사용해 방법을 검증하고, 위험 감수성 높은 제어 정책에 활용 가능성을 입증하기 위해.
• 점유도 지도 예측 모델의 훈련 및 벤치마킹을 위한 데이터셋과 평가 프레임워크를 구축하기 위해.

제안 방법

• 입력 센서 데이터로부터 확장된 점유도 지도를 예측하기 위해 완전 컨볼루션 네트워크(U-Net, ResNet)와 생성적 적대 신경망(GANs)을 훈련시켰다.
• 생성자 네트워크가 예측을 생성하고, 판별자 네트워크가 진짜 지도와 생성된 지도를 구분하는 최소 최대 적대 훈련 기반의 전략을 사용했다.
• 일반화 성능 향상과 훈련 데이터로부터의 구조적 사전 지식 캡처를 위해 데이터 증강 및 잠재 공간 인코딩을 적용했다.
• 모델 평가에 대해 시뮬레이션 및 실제 LIDAR 기반 점유도 지도에서 구조적 유사도(SSIM)와 정성적 시각 분석을 사용했다.
• 성능 평가를 위해 예측 확장을 2.00x로 확대하여 불확실성 증가와 공간 외삽 조건 하에서의 성능을 분석했다.
• 단기 예측과 장기 예측 출력을 통합하여 안정성과 시간적 일관성을 향상시켰다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 관측된 데이터만으로 센서 시야 외부의 점유도 지도를 정확하게 예측할 수 있는가?
• RQ2 생성 모델(예: GANs)은 점유도 지도 예측에서 완전 컨볼루션 네트워크와 비교해 어떻게 성능을 내는가?
• RQ3 모의 훈련 데이터는 실제 LIDAR 센서 데이터로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 확장 비율 증가(예: 1.50x에서 2.00x로)에 따라 예측 정확도는 어떻게 저하되는가?
• RQ5 저수준의 세부 정보가 정확하지 않더라도, 예측된 지도가 유용한 고수준 주행 정보를 제공할 수 있는가?

주요 결과

• U-Net 완전 컨볼루션 네트워크는 합성 데이터에서 최고의 SSIM 점수 0.899를 기록하여 점유도 지도 예측 성능이 뛰어나다는 것을 입증했다.
• 실제 LIDAR 데이터에서는 U-Net FF 모델이 1.30x 확장에서 SSIM 0.517을 달성했으며, GAN은 다른 아키텍처보다 정성적으로 더 나은 세부 구조를 보였다.
• 물리적 데이터에서 GAN 기반 모델은 특히 T자형 교차로와 같은 구조적 세부 정보 유지 측면에서 완전 컨볼루션 네트워크를 능가하는 정성적 정확도를 보였다.
• 2.00x 확장 조건에서도 모든 예시에서 T자형 교차로 존재 여부를 정확히 반영하는 등 예측 결과는 정성적으로 정확했으며, 정량적 성능 저하가 있었음에도 불구하고 유지되었다.
• 예측 과정에서 센서 읽기에서 유발되는 일시적 노이즈를 효과적으로 걸러내어 실제 환경 조건에서 센서 오류에 대한 강건성을 보였다.
• 확장 비율 증가에 따라 성능이 저하되었으며, U-Net FF의 경우 2.00x에서 SSIM가 0.484로 떨어져 장거리 예측의 불확실성이 증가하는 것으로 나타났다.