[논문 리뷰] Identifying Most Walkable Direction for Navigation in an Outdoor Environment

Sachin Mehta, Hannaneh Hajishirzi외 1명|arXiv (Cornell University)|2017. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 4

한 줄 요약

이 논문은 손에 쥐고 다니는 카메라를 사용하여 제약 없는 실외 환경에서 가장 보행하기 쉬운 방향을 실시간으로 식별하는 시스템을 제안한다. 이는 고유의 빠르고 정확한 세분화 네트워크와 시공간 그래프 모델링을 활용하여 물체 속성에 대한 비용 함수를 학습한다. 이 방법은 안전한 주행 방향 예측 정확도가 84%에 달하며, PASCAL VOC 와 PASCAL Context 에서 각각 mIOU 점수 81 과 44.7 을 기록한다. 시스템은 약 21 FPS 로 작동한다.

ABSTRACT

We present an approach for identifying the most walkable direction for navigation using a hand-held camera. Our approach extracts semantically rich contextual information from the scene using a custom encoder-decoder architecture for semantic segmentation and models the spatial and temporal behavior of objects in the scene using a spatio-temporal graph. The system learns to minimize a cost function over the spatial and temporal object attributes to identify the most walkable direction. We construct a new annotated navigation dataset collected using a hand-held mobile camera in an unconstrained outdoor environment, which includes challenging settings such as highly dynamic scenes, occlusion between objects, and distortions. Our system achieves an accuracy of 84% on predicting a safe direction. We also show that our custom segmentation network is both fast and accurate, achieving mIOU (mean intersection over union) scores of 81 and 44.7 on the PASCAL VOC and the PASCAL Context datasets, respectively, while running at about 21 frames per second.

연구 동기 및 목표

• 시각 장애인을 위한 제약 없는 실외 환경에서 가장 보행하기 쉬운 방향을 실시간으로 식별하는 주행 시스템을 개발하는 것.
• 백색 지팡이나 실내 센서와 같은 접촉 기반 보조 수 Mitts에 의존하는 기존 시스템의 한계를 극복하는 것. 이러한 시스템은 실외에서는 효과적이지 않다.
• 실외 환경에서 복잡한 장면에서도 안전하고 동적 주행이 가능한 솔루션을 개발하기 위해 손에 쥐고 다니는 카메라를 사용하여 1인칭 시각을 캡처하는 것.
• 실시간 배포에 적합한 낮은 지연 시간을 유지하면서도 높은 성능을 내는 경량이지만 정확한 세분화 네트워크를 설계하는 것.
• 보조 기술 분야의 연구를 지원하기 위해 대규모이고 도전적인 레이블이 부여된 실외 주행 데이터셋을 구축하는 것.

제안 방법

• 빠르고 정확한 성능을 위해 최적화된 고유의 인코더-디코더 아키텍처를 사용하여 세분화를 수행하며, PASCAL VOC 에서 mIOU 81, PASCAL Context 에서 mIOU 44.7 을 달성한다.
• 검출된 물체의 공간적 및 시간적 행동을 모델링하기 위해 시공간 그래프를 구성하여 환경의 동적 변화를 시간에 따라 포착한다.
• 물체의 공간적(예: 거리, 위치) 및 시간적(예: 운동, 속도) 속성에 대해 비용 함수를 학습하여 가장 안전한 주행 가능한 방향을 식별한다.
• 손에 쥐고 다니는 카메라에서 얻은 1인칭 영상 입력을 사용하여 실시간으로 물체를 검출하고 추적하며, 사람과 장애물 등을 포함한다.
• 다중 척도 잔차 블록을 설계하여 맥락 정보를 효율적으로 통합함으로써 낮은 깊이와 빠른 추론 속도에서도 높은 성능을 달성한다.
• 표준 컨볼루션의 대안으로 확장 컨볼루션을 평가하였으며, 약간 낮은 성능를 보였지만 파rameter 수가 감소하였다.

실험 결과

연구 질문

• RQ1 손에 쥐고 다니는 카메라만을 사용하여 제약 없는 실외 환경에서 가장 보행하기 쉬운 방향을 어떻게 식별할 수 있는가?
• RQ2 경량이며 실시간 동작이 가능한 세분화 모델은 보조 주행 시스템에서 낮은 지연 시간을 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ3 시공간 모델링과 비용 함수 학습은 어떻게 동적 실외 환경에서의 안전성과 적응성을 향상시키는가?
• RQ4 모델의 깊이, 너비, 추론 속도 사이의 성능 상충 관계는 모바일 보조 응용 프로그램을 위한 세분화에서 어떻게 나타나는가?
• RQ5 특정 아키텍처는 PASCAL VOC 와 Cifar 와 같은 벤치마크 데이터셋에서 기존 최첨단 모델보다 정확도와 속도 면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 시스템은 새로 확보한 실외 주행 데이터셋에서 가장 보행하기 쉬운 방향 예측 정확도가 84%에 달한다.
• 고유의 세분화 네트워크는 PASCAL VOC 에서 mIOU 81, PASCAL Context 에서 mIOU 44.7 을 기록하며, 유사한 깊이의 많은 기존 모델을 능가한다.
• 시스템은 약 21 프레임 매초로 작동하여 실시간 성능를 입증하였으며, 모바일 배포에 적합하다.
• 깊이 38에서 Cifar-10 에서 상위 5 오류율이 4.99%로, 훨씬 깊은 ResNet-1001(4.92%)과 유사한 성능를 보였지만, 파rameter 수가 훨씬 적었다.
• 확장 컨볼루션은 파rameter 수를 줄였지만, 표준 컨볼루션 대비 성능이 약간 떨어졌으며, 깊이 38에서 Cifar-10 에서 오류율이 1.47% 높았다.
• 이 방법은 동적 환경에 적응하는 데 성공하였다: 초기에는 먼 곳에 있는 물체를 가장 안전한 것으로 식별하지만, 운동 패tern이 더 안정적이고 지면 수준의 물체임을 확인하면 이를 업데이트한다.