[논문 리뷰] Combining Neural Networks and Tree Search for Task and Motion Planning in Challenging Environments

Chris Paxton, Vasumathi Raman외 2명|arXiv (Cornell University)|2017. 03. 22.

Reinforcement Learning in Robotics참고 문헌 16인용 수 23

한 줄 요약

이 논문은 복잡한 작업 및 운동 계획 문제를 동적 환경에서 해결하기 위해 딥 강화 학습(DRL)과 몬테 카를로 트리 검색(MCTS)을 융합한 하이브리드 계획 프레임워크를 제안한다. 이는 학습된 저수준 제어 정책과 선형 시간 논리(LTL) 사양에 의해 안내되는 고수준 옵션 정책을 사용한다. 시뮬레이션된 자율 주행 시나리오에서 이 방법은 수렴된 고수준 정책이 없는 기준 방법보다 유의미하게 뛰어난 성능을 보이며, 거의 완벽한 성능을 달성한다.

ABSTRACT

We consider task and motion planning in complex dynamic environments for problems expressed in terms of a set of Linear Temporal Logic (LTL) constraints, and a reward function. We propose a methodology based on reinforcement learning that employs deep neural networks to learn low-level control policies as well as task-level option policies. A major challenge in this setting, both for neural network approaches and classical planning, is the need to explore future worlds of a complex and interactive environment. To this end, we integrate Monte Carlo Tree Search with hierarchical neural net control policies trained on expressive LTL specifications. This paper investigates the ability of neural networks to learn both LTL constraints and control policies in order to generate task plans in complex environments. We demonstrate our approach in a simulated autonomous driving setting, where a vehicle must drive down a road in traffic, avoid collisions, and navigate an intersection, all while obeying given rules of the road.

연구 동기 및 목표

• 기존 방법이 상태 공간의 폭발과 시간 제약 조건으로 인해 실패하는 복잡하고 동적인 환경에서의 계획 문제를 해결하기 위해.
• 딥 강화 학습을 몬테 카를로 트리 검색과 융합하여 고수준 동작 시퀀스의 효율적 탐색을 가능하게 하기 위해.
• 표현력 있는 LTL 사양을 통한 작업 및 운동 계획을 가능하게 하여 도로의 복잡한 규칙을 포괄하기 위해.
• DQN을 통해 고수준 옵션 정책을 학습시켜 수동으로 설정된 히우리스틱에 대한 의존도를 줄이기 위해.
• 교통 체증, 교차로, 동적 장애물이 있는 현실적인 시뮬레이션된 자율 주행 환경에서 프레임워크를 평가하기 위해.

제안 방법

• 저수준 제어 정책을 학습하기 위해 딥 신경망을 사용하여 환경 내 연속적인 운동 제어를 수행한다.
• 고수준 '옵션 정책'은 딥 Q-네트워크(DQN)를 통해 기본 동작나 행위 중에서 선택하도록 학습된다.
• 몬테 카를로 트리 검색(MCTS)은 학습된 옵션의 시퀀스를 계획하기 위해 사용되며, 각 옵션은 특정 작업을 위한 정책을 나타낸다.
• LTL 공식은 시간적 및 논리적 제약 조건을 표현하기 위해 사용되며, 예를 들어 '최종적으로 교차로에 도달할 것' 또는 '항상 충돌을 피할 것'과 같은 조건을 포함한다.
• MCTS 알고리즘은 학습된 고수준 정책을 사전 확률로 사용하여 유망한 동작 시퀀스로의 탐색을 안내한다.
• 가치 함수는 상태와 옵션의 품질을 평가하기 위해 사용되며, 트리 탐색은 누적 기대 수익을 기반으로 노드를 확장한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습을 몬테 카를로 트리 검색과 효과적으로 융합하여 동적 환경에서의 복잡한 작업 및 운동 계획 문제를 해결할 수 있는가?
• RQ2 LTL 제약 조건에 의해 안내될 때, 학습된 신경망 정책이 새로운 시나리오로의 일반화 능력이 얼마나 우수한가?
• RQ3 MCTS에서 학습된 고수준 정책을 사전 확률로 사용할 경우, 히우리스틱이나 수동 정책에 비해 계획의 효율성과 성공률이 유의미하게 향상되는가?
• RQ4 LTL 사양과 딥 러닝의 융합이 자율 주행과 같은 안전이 중요한 영역에서 신뢰성 있고 검증 가능한 로봇 행동을 가능하게 하는가?
• RQ5 현재의 학습된 정책과 탐색 히우리스틱은 극단적 상태나 갇힌 상태를 다룰 때 어떤 한계를 지니는가?

주요 결과

• 학습된 고수준 정책을 갖춘 시스템은 단순 테스트 문제에서 100회의 시행 전부에서 완벽한 성능을 보였으며, 충돌 없이 성공했다.
• 정지된 차량이 앞서 있고 인접 차선에서 같은 속도로 이동하는 차량이 있는 등 필수적인 물리적 제약 조건으로 인해 발생하는 경우를 제외하고, 복잡한 시나리오에서의 갇힘 차량 상황에서는 오직 3건의 실패만 기록했다.
• 학습된 고수준 정책이 없는 버전은 단순한 시나리오에서도 차량이 주변 교통에 둘러싸여 갇힐 경우에 다수의 충돌을 겪었다.
• 학습된 옵션을 사용하는 MCTS 플래너는 위기 상황에서 충돌 2초 전에 경고를 제공하여 긴급 브레이킹을 가능하게 했다.
• 플래너의 추론 시간은 평균적으로 1초 내외였으며, 세계 상태 갱신 및 상대 정책 평가에 약 25%의 시간이 소요되어 최적화의 여지가 있음을 시사했다.
• 수동 정책은 차선 유지를 선호하여 탐색이 열악해져 불필요한 충돌을 유발했지만, 학습된 정책은 장애물을 피하기 위해 차선 변경과 같은 행동을 성공적으로 선택했다.