[논문 리뷰] Intervention Aided Reinforcement Learning for Safe and Practical Policy Optimization in Navigation

Fan Wang, Bo Zhou외 6명|arXiv (Cornell University)|2018. 11. 15.

Reinforcement Learning in Robotics참고 문헌 24인용 수 7

한 줄 요약

이 논문은 인간의 간섭을 피하고 UAV 주행의 안전성을 향상시키기 위해 인간의 간섭을 피드백으로 사용하는 이민 학습과 정책 최적화를 조합한 프레임워크인 간섭 보조 강화 학습(IARL)을 제안한다. 이 방법은 시뮬레이션 및 실제 환경에서 모두 강인하고 충돌 없는 정책을 학습하여, 시뮬레이션에서는 근접한 0% 충돌률과 1% 미만의 간섭 비율을 달성했으며, 실제 테스트에서는 간섭 빈도를 크게 감소시켰다.

ABSTRACT

Combining deep neural networks with reinforcement learning has shown great potential in the next-generation intelligent control. However, there are challenges in terms of safety and cost in practical applications. In this paper, we propose the Intervention Aided Reinforcement Learning (IARL) framework, which utilizes human intervened robot-environment interaction to improve the policy. We used the Unmanned Aerial Vehicle (UAV) as the test platform. We built neural networks as our policy to map sensor readings to control signals on the UAV. Our experiment scenarios cover both simulation and reality. We show that our approach substantially reduces the human intervention and improves the performance in autonomous navigation, at the same time it ensures safety and keeps training cost acceptable.

연구 동기 및 목표

• 로봇의 강화 학습, 특히 UAV 주행과 같은 고위험 시나리오에서의 안전성과 높은 학습 비용 문제를 해결하기 위해.
• 충돌과 같은 실패 이벤트에 의존하는 비용이 많이 들고 위험한 시도-오류 학습에 대한 의존도를 줄이기 위해 인간의 간섭을 피드백으로 도입하기 위해.
• 간섭 데이터를 사용하여 이민 학습과 정책 최적화를 융합한 일반화 가능한 프레임워크를 개발하기 위해.
• 다중 모odal 센서 입력을 활용하여 지도 없는 종단 간 시각 주행을 비정형 환경에서 가능하게 하기 위해.
• 높은 성능를 유지하면서 인간 간섭을 최소화함으로써 학습의 안전성과 실용성을 확보하기 위해.

제안 방법

• IARL은 인간 간섭을 결정하는 분류기와 지도 역할을 하는 기준 제어 정책의 조합으로 간주한다.
• 행동 정책는 목표 정책와 간섭 정책의 혼합으로 정의되어 안전한 탐색을 가능하게 한다.
• 프레임워크는 이민을 통해 기준 정책에서 학습하면서 동시에 간섭 확률을 최소화하도록 정책을 최적화한다.
• 3D 깊이 이미지, 초음파 센서, 속도, 목표 방향을 포함한 다중 모달 관측 입력을 사용하여 제어 결정을 지원한다.
• 기본 강화 학습 알고리즘으로는 일반화된 이점 추정(GAE)을 사용하는 근접 정책 최적화(PPO)를 사용한다.
• 이 방법은 시뮬레이션에서 학습되고, 실제 UAV에 배포하기 전에 전문가의 시연 데이터를 바탕으로 보정된다.

실험 결과

연구 질문

• RQ1 강화 학습 학습 중 인간 간섭을 실패 이벤트(예: 충돌) 대신 안전하고 효과적인 피드백 신호로 활용할 수 있는가?
• RQ2 이민 학습을 강화 학습과 통합하여 간섭 빈도를 줄이면서도 높은 주행 성능를 유지할 수 있는가?
• RQ3 IARL은 최소한의 인간 감시 하에 비정형 실제 환경에서 충돌 없는 주행을 어느 정도 달성할 수 있는가?
• RQ4 안전성, 일반화 능력, 학습 효율성 측면에서 IARL은 표준 강화 학습 및 이민 학습 방법과 비교해 어떻게 성과를 내는가?
• RQ5 IARL 프레임워크는 실제 데이터가 최소한인 상태에서 시뮬레이션에서 실제 UAV 주행으로 효과적으로 전이될 수 있는가?

주요 결과

• 시뮬레이션에서 IARL(이민)은 정상 테스트에서 평균 충돌률 0%를 기록하여 RL(22.5%)과 DAgger(24%)를 크게 앞섰다.
• 시뮬레이션에서의 간섭 비율(IR)은 IARL(이민)에서 1% 이하로 떨어져 인간 간섭 의존도가 극히 낮음을 시사한다.
• 실제 환경 테스트에서 간섭 비율은 시간이 지남에 따라 감소했으며, 센서 노이즈와 지연에도 불구하고 모델이 더 안전한 정책을 학습할 수 있음을 보여준다.
• 실제 환경 학습 중 평균 통과 시간과 간섭 시간 모두 감소하여 효율성 향상과 인간의 작업 부담 감소를 보였다.
• IARL는 표준 RL이 위험한 경로를 선택하는 것과는 달리 보수적이고 안전한 경로를 학습하여 장애물을 더 효과적으로 피했다.
• 노이즈가 있는 실제 환경 센서와 최대 0.4초의 지연 조건에서도 IARL는 낮은 간섭 빈도를 유지하고 안정적이고 안전한 주행을 달성했다.