[논문 리뷰] Navigation Agents for the Visually Impaired: A Sidewalk Simulator and Experiments

Martin Weiß, Simon Chamorro외 8명|PolyPublie (École Polytechnique de Montréal)|2019. 10. 29.

Tactile and Sensory Interactions참고 문헌 31인용 수 5

한 줄 요약

이 논문은 빛의 시각 장애인을 위한 실외 주행을 돕기 위해 고해상도 파노라마 영상과 주석이 달린 시cene 요소(집번호, 문, 도로 표지판)를 갖춘 새로운 보도 시뮬레이션 환경인 SEVN을 소개한다. Proximal Policy Optimization (PPO)를 사용하여 시각, 텍스트, GPS 입력을 융합하는 다중모달 모델이 목표 문으로 이동하는 데 74.9%의 성공률을 기록하여 실생활에 가까운 도시 주행 과제에서 다중모달 인식의 효과성을 입증한다.

ABSTRACT

Millions of blind and visually-impaired (BVI) people navigate urban environments every day, using smartphones for high-level path-planning and white canes or guide dogs for local information. However, many BVI people still struggle to travel to new places. In our endeavor to create a navigation assistant for the BVI, we found that existing Reinforcement Learning (RL) environments were unsuitable for the task. This work introduces SEVN, a sidewalk simulation environment and a neural network-based approach to creating a navigation agent. SEVN contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. We study the performance of an RL algorithm (PPO) in this setting. Our policy model fuses multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data to navigate to a goal door. We hope that this dataset, simulator, and experimental results will provide a foundation for further research into the creation of agents that can assist members of the BVI community with outdoor navigation.

연구 동기 및 목표

• 시각 장애인 및 시력 장애가 있는 보행자에게 특화된 현실적이고 오픈소스인 환경이 부족한 문제를 해결하기 위해.
• 다중모달 관측(파노라마 이미지, 가시 텍스트, 시뮬레이션된 GPS)을 지원하는 시뮬레이션 환경을 개발하여 견고한 실외 주행을 가능하게 하기 위해.
• 실제 도시 보도 환경에서 시각, 텍스트, 공간 입력을 융합하는 강화학습 정책의 성능을 평가하기 위해.
• 데이터셋, 시뮬레이터, 훈련된 모델를 공개하여 향후 보조 주행 시스템 연구의 기반을 마련하기 위해.

제안 방법

• SEVN 시뮬레이터는 몬트리올 리틀 이태리 지역의 6km에 걸친 보도에서 수집한 4,988장의 고해상도 파노라마 영상의 그래프 기반 표현을 기반으로 구축된다.
• 각 파노라마 영상은 지리적 위치가 기록되어 있으며, 집번호, 문, 도로명 표지판 등에 주석이 달려 있어 현실적인 도시 주행 환경을 형성한다.
• 환경는 OpenAI Gym 호환이며, 다양한 해상도의 이미지, 추출된 가시 텍스트, 시뮬레이션된 GPS 데이터를 포함한 다중모달 관측을 사용하는 여러 주행 과제를 지원한다.
• 프록실 팔리시 옵티마이제이션(PPO) 에이전트는 다중모달 융합 아키텍처를 사용하여 시작 보도 위치에서 목표 문으로 이동하도록 훈련된다.
• 정책 모델은 이미지(84×84 해상도), 가시 텍스트(OCR 추출), GPS 좌표에서 입력을 융합하여 행동 예측을 위한 단일 임bedding을 생성한다.
• 목표 향한 진전을 장려하기 위해 조밀한 보상 함수가 설계되었으며, 목표 문에 도달할 경우 희박한 보상이 부여된다.

실험 결과

연구 질문

• RQ1 다중모달 입력을 사용하여 현실적인 도시 보도 환경에서 특정 문으로 효과적으로 주행할 수 있는가?
• RQ2 가시 텍스트와 GPS 데이터의 포함 여부가 시각 전용 또는 GPS 전용 입력에 비해 주행 성능에 어떤 영향을 미치는가?
• RQ3 성공률과 경로 효율성 측면에서 학습된 정책과 오라클 경로 계획자 간의 성능 격차는 무엇인가?
• RQ4 다른 입력 모odal(이미지, 텍스트, GPS)이 주행 정책의 일반화 및 강건성에 어떻게 기여하는가?
• RQ5 실제 영상과 주석이 달린 시cene 요소를 갖춘 시뮬레이션 환경이 시각 장애인 사용자를 위한 일반화된 주행 정책 훈련을 지원할 수 있는가?

주요 결과

• 이미지, 가시 텍스트, GPS를 융합하는 다중모달 융합 모델(AllObs)은 200만 프레임의 훈련 후 74.9%의 성공률을 기록했으며, 최고 성능 모델은 85%의 성공률을 달성했다.
• AllObs 모델는 모든 기준 모델보다 빠르게 수렴했고 유의미하게 더 높은 성능을 보였으며, 이는 다중모달 융합이 주행 정책 학습을 향상시킨다는 것을 시사한다.
• 이미지 전용 모델(ImgOnly)은 55% 이상의 성공률을 기록했으며, 이는 저해상도 시각 입력이 주행에 필수적이라는 것을 보여주며, 이미지 없음 기준 모델(NoImg)은 무작위 보행보다 열등한 성능을 보였다.
• GPS가 없는 모델(NoGPS)은 이미지 전용 기준 모델보다 성능이 향상되었으며, 이는 가시 텍스트가 시각적 외관을 초월해 의미 있는 주행 단서를 제공한다는 것을 시사한다.
• 최고 성능 모델의 경로는 평균적으로 최적의 오라클 경로보다 40% 더 길었으며, 이는 높은 성공률에도 불구하고 경로 효율성 향상 여전히 개선이 필요함을 시사한다.
• 분석 결과, 에이전트가 종종 반복적인 잘못된 행동(예: 좌우로 반복 전환)을 하거나 벽에 부딪히는 전진 동작을 시도하는 경우가 있었으며, 이는 국소 장애물 회피 및 정책 일반화에 도전 과제가 있음을 나타낸다.