[논문 리뷰] What Should I Do Now? Marrying Reinforcement Learning and Symbolic Planning

Daniel Gordon, Dieter Fox외 1명|arXiv (Cornell University)|2019. 01. 06.

Reinforcement Learning in Robotics참고 문헌 35인용 수 13

한 줄 요약

이 논문은 시각적 장기 결정 문제를 개선하기 위해 상징적 계획법과 딥 강화 학습을 통합한 프레임워크인 계층적 계획법 및 강화 학습(HIP-RL)을 소개한다. 계획기(Planner)가 효율적인 동작 시퀀스를 생성하고 메타-컨트롤러(Meta-controller)가 저수준 정책을 기동함으로써, HIP-RL은 순수 강화 학습 기반 모델 대비 테스트 단계의 스텝 수와 학습 반복 횟수를 한 단계 감소시키며 인터랙티브 질의 응답 및 시각적 의미 계획 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Long-term planning poses a major difficulty to many reinforcement learning algorithms. This problem becomes even more pronounced in dynamic visual environments. In this work we propose Hierarchical Planning and Reinforcement Learning (HIP-RL), a method for merging the benefits and capabilities of Symbolic Planning with the learning abilities of Deep Reinforcement Learning. We apply HIPRL to the complex visual tasks of interactive question answering and visual semantic planning and achieve state-of-the-art results on three challenging datasets all while taking fewer steps at test time and training in fewer iterations. Sample results can be found at youtu.be/0TtWJ_0mPfI

연구 동기 및 목표

• 딥 강화 학습이 희박한 보상과 기하급수적으로 증가하는 상태공간으로 인해 어려움을 겪는 동적 시각 환경에서 장기 계획 문제를 해결하기 위해.
• 순수 상징적 계획법의 한계를 극복하기 위해, 정확한 상태 추정이 필요하고 직접적으로 원시 시각 입력을 처리할 수 없는 점을 고려하여.
• 딥 러닝의 특징 추출 능력과 상징적 계획법의 구조적이고 목표 지향적인 추론 능력을 조합하여 더 높은 샘플 효율성과 테스트 시 성능 향상을 도모하기 위해.
• 복잡한 시각적 추론 작업에서 정확도를 유지하거나 향상시키면서도 학습 시간과 테스트 시 스텝 수를 줄이기 위해.
• 일致하고 구조적인 행동을 가능하게 하기 위해 계획을 활용하여 새로운 환경에 더 잘 일반화할 수 있도록 에이전트를 지원하기 위해.

제안 방법

• HIP-RL은 메타-컨트롤러가 고수준 동작를 선택하고 계획기를 동원하여 저수준 동작의 시퀀스를 생성하는 계층적 아키텍처를 사용한다.
• 계획기는 물리적 상태 표현(예: 물체 탐지 출력에서 유도된)을 기반으로 Metric-FF를 사용해 완전하고 실행 가능한 계획을 생성한다.
• 물체 탐지(예: Mask-RCNN)는 계획기의 상징적 상태 입력을 제공하여 물체의 위치와 가능성을 추론할 수 있도록 한다.
• 메타-컨트롤러는 작업 완료에서 유도된 희박한 보상 신호를 사용하여 딥 강화 학습을 통해 계획기와 저수준 정책을 기동하는 법을 학습한다.
• 효율성과 완전성의 균형을 위해 탐색(반응형 정책을 통한)과 계획(상징적 추론을 통한)을 번갈아 수행한다.
• 새로운 관측 결과가 들어올 경우 계획기를 재기동하여 환경 변화에 대응하는 동적 계획 갱신이 가능하다.

실험 결과

연구 질문

• RQ1 상징적 계획법은 장기 시각 작업에서 딥 강화 학습의 샘플 효율성과 테스트 시 성능을 향상시킬 수 있는가?
• RQ2 학습과 계획을 융합할 경우 새로운 환경에 대한 일반화 능력은 어떻게 영향을 받는가?
• RQ3 계층적 프레임워크는 추론 중에 취하는 스텝 수를 줄일 수 있는가? 정확도를 유지하거나 향상시키면서 말이다.
• RQ4 학습된 메타-컨트롤러가 반응형 정책과 상징적 계획기 사이를 효과적으로 조율할 수 있는가?
• RQ5 질의 응답 작업 초기 단계에서 상반된 학습 신호 문제를 계획기의 사용이 어느 정도 완화할 수 있는가?

주요 결과

• HIP-RL은 IQUAD V1 및 EQA V1에서 최신 기술 수준 성능을 달성하여 이전 방법들보다 정확도와 샘플 효율성에서 뛰어난 성능을 보였다.
• IQUAD V1에서 HIP-RL은 120,000개의 계층적 스텝 내에 최고 성능에 도달했고, HIMN은 500,000개의 스텝을 소비했으며 상당히 낮은 성능를 기록했다.
• 정답 탐지 결과를 사용할 경우, HIP-RL은 단 26,000개의 계층적 스텝 만으로도 HIMN의 최종 성능에 도달했으며, 이는 학습 속도가 10배 향상됨을 보여주었다.
• HIP-RL은 불필요한 탐색을 피함으로써 테스트 단계의 스텝 수를 줄였다. 예를 들어, 시각적 의미 계획 작업에서 마이크로파이브를 탐지한 직후 즉시 사용함으로써 이를 입증했다.
• 새로운 방에 대한 일반화 능력은 뛰어났다: 정답 탐지 결과를 사용했을 경우, IQUAD V1과 VSP에서 성능 저하가 10% 미만으로 발생했으며, 희귀 물체 클래스에 대한 훈련 데이터가 제한된 상태에서도 성능이 유지되었다.
• Mask-RCNN 탐지 결과를 사용했을 경우 성능는 여전히 양호했지만, 희귀하거나 알려지지 않은 캐비닛과 서랍에서 탐지 실패로 인해 새로운 환경에서 더 큰 성능 격차가 발생했다.