[논문 리뷰] Learning End-to-end Multimodal Sensor Policies for Autonomous Navigation

Guan-Horng Liu, Avinash Siravuru외 3명|arXiv (Cornell University)|2017. 05. 30.

Reinforcement Learning in Robotics참고 문헌 30인용 수 35

한 줄 요약

이 논문은 딥 강화 학습에서 엔드 투 엔드 다중모달 센서 정책을 훈련하기 위한 새로운 스토하스틱 정규화 기법인 Sensor Dropout을 제안하며, 부분적인 센서 고장에 대한 강건성을 향상시킨다. Sensor Dropout을 보조 손실과 조합함으로써 정책의 분산을 줄이고 효과적인 센서 융합을 가능하게 하여, 노이즈 환경에서 기준 모델 대비 10% 성능 저하를 기록하는 반면 기존 기준 모델은 50% 성능 저하를 보인다. 이는 핵심 센서가 고장나도 성능 저하가 최소화됨을 의미한다.

ABSTRACT

Multisensory polices are known to enhance both state estimation and target tracking. However, in the space of end-to-end sensorimotor control, this multi-sensor outlook has received limited attention. Moreover, systematic ways to make policies robust to partial sensor failure are not well explored. In this work, we propose a specific customization of Dropout, called extit{Sensor Dropout}, to improve multisensory policy robustness and handle partial failure in the sensor-set. We also introduce an additional auxiliary loss on the policy network in order to reduce variance in the band of potential multi- and uni-sensory policies to reduce jerks during policy switching triggered by an abrupt sensor failure or deactivation/activation. Finally, through the visualization of gradients, we show that the learned policies are conditioned on the same latent states representation despite having diverse observations spaces - a hallmark of true sensor-fusion. Simulation results of the multisensory policy, as visualized in TORCS racing game, can be seen here: https://youtu.be/QAK2lcXjNZc.

연구 동기 및 목표

• 자율 주행을 위한 엔드 투 엔드 다중모달 센서 정책에서 체계적인 강건성의 부족을 해결하기 위해.
• 특정 센서 집합에 대한 과도한 의존도를 줄이며, 특히 부분적인 센서 고장 상황에서도 그러한 의존도를 감소시키기 위해.
• 갑작스러운 센서 비활성화 또는 재활성화 상황에서도 정책의 일반화 능력을 향상시키고 분산을 줄이기 위해.
• 이질적인 센서 간에 공통된 잠재 표현을 학습함으로써 진정한 센서 융합을 가능하게 하기 위해.
• 사전 훈련이나 이중 단계 훈련 없이도 이질적인 센서 모odalities를 지원하는 통합된 엔드 투 엔드 훈련 프레임워크를 제공하기 위해.

제안 방법

• 훈련 중에 센서 입력을 무작위로 마스킹하는 맞춤형 스토하스틱 정규화 기법인 Sensor Dropout을 제안하여 정책이 특정 센서에 의존하는 것을 줄인다.
• 다른 센서 모달리티에서 유도된 부분 정책 간의 불일치를 방지하기 위한 보조 손실을 도입함으로써 정책 일관성과 행동 분산 감소를 촉진한다.
• 물리 기반의 TORCS 환경에서 물리적 상태, 레이저, 이미지 등의 다중모달 입력을 사용하여 NAF 및 DDPG 알고리즘을 기반으로 딥 강화 학습 정책을 훈련한다.
• 정책 주의력 분석을 위해 기울기 시각화를 활용하여 레이저 빔이 운동 방향에 수직인 영역과 이미지 입력에서 도로 경계선과 같은 주요 특징을 식별한다.
• 잠재 공간 분석을 통해 정책이 다양한 센서 입력 간에 공통된 통합 표현을 학습하고 있음을 확인함으로써 진정한 센서 융합을 입증한다.
• 사전 훈련 없이 엔드 투 엔드로 적용하여 다중모달 관측에서 제어 행동으로의 직접 매핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Sensor Dropout을 사용해 훈련된 딥 강화 학습 정책은 부분적인 센서 고장 상황에서도 높은 성능을 유지할 수 있는가?
• RQ2 제안된 보조 손실은 갑작스러운 센서 손실 또는 재활성화 상황에서 정책 행동의 분산을 어떻게 줄이는가?
• RQ3 Sensor Dropout은 이질적인 센서 간에 공통된 잠재 표현을 통해 얼마나 진정한 센서 융합을 촉진하는가?
• RQ4 Sensor Dropout을 적용한 다중센서 정책의 성능은 노이즈 또는 열악한 센서 조건 하에서 기준 단일 센서 또는 단순 다중모달 정책과 비교해 어떻게 다른가?
• RQ5 학습된 정책은 어떤 특징에 주목하는가? 그리고 Sensor Dropout을 사용해 훈련한 정책와 그렇지 않은 정책 간의 주목 특징는 어떻게 다를까?

주요 결과

• Sensor Dropout을 적용한 다중센서 DRL 정책는 기준 모델 대비 노이즈 환경에서 성능 저하를 약 50%에서 단지 10%로 줄였다.
• Sensor Dropout을 사용해 훈련된 정책는 레이저 및 이미지 센서가 모두 차단된 상황에서도 정상적으로 기능을 유지함으로써 핵심 센서 모달리티의 완전한 고장에 대한 강건성을 입증했다.
• 보조 손실은 행동 분산을 크게 줄여 갑작스러운 센서 고장 또는 재활성화 상황에서도 더 부드러운 정책 행동을 가능하게 했다.
• 기울기 시각화 결과, Sensor Dropout을 사용해 훈련된 정책는 운동 방향에 수직으로 배열된 레이저 빔과 도로 경계선과 같은 주요 특징에 집중하는 것으로 나타났으며, 이는 향상된 특징 선택 능력을 의미한다.
• 잠재 공간 분석을 통해 정책가 이질적인 센서 입력 간에 공통된 표현을 학습하고 있음을 확인하였으며, 이는 단순히 입력을 연결하는 것 이상의 진정한 센서 융합을 수행하고 있음을 입증한다.
• Sensor Dropout을 사용해 훈련된 정책는 표준 Dropout이나 단순 다중모달 훈련 대비 부분 정책 간에 더 농축되고 명확하게 구분되는 분포를 보이며, 더 나은 일반화 능력을 보였다.