[논문 리뷰] Learning model-based planning from scratch

Razvan Pascanu, Yujia Li외 8명|arXiv (Cornell University)|2017. 07. 19.

Artificial Intelligence in Games참고 문헌 21인용 수 78

한 줄 요약

본 연구는 상상 기반 플래너(IBP)를 제시합니다. 이는 상상된 롤아웃을 통해 계획을 구성하고 평가하며 실행하는 완전히 학습 가능한 모델 기반 에이전트로, 연속 제어 및 이산 미로에서 시연됩니다.

ABSTRACT

Conventional wisdom holds that model-based planning is a powerful approach to sequential decision-making. It is often very challenging in practice, however, because while a model can be used to evaluate a plan, it does not prescribe how to construct a plan. Here we introduce the "Imagination-based Planner", the first model-based, sequential decision-making agent that can learn to construct, evaluate, and execute plans. Before any action, it can perform a variable number of imagination steps, which involve proposing an imagined action and evaluating it with its model-based imagination. All imagined actions and outcomes are aggregated, iteratively, into a "plan context" which conditions future real and imagined actions. The agent can even decide how to imagine: testing out alternative imagined actions, chaining sequences of actions together, or building a more complex "imagination tree" by navigating flexibly among the previously imagined states using a learned policy. And our agent can learn to plan economically, jointly optimizing for external rewards and computational costs associated with using its imagination. We show that our architecture can learn to solve a challenging continuous control problem, and also learn elaborate planning strategies in a discrete maze-solving task. Our work opens a new direction toward learning the components of a model-based planning system and how to use them.

연구 동기 및 목표

• 상상력을 계획에 통합함으로써 어떻게 계획할지 학습하는 모델 기반 계획을 촉진한다.
• 상상할 시점, 상상하는 방법, 상상된 결과를 계획으로 집계하는 방법을 학습하는 완전히 미분가능한 아키텍처를 시연한다.
• 도전적인 연속 제어 및 이산 미로 과제에서 IBP를 선보여 과제에 맞춘 계획 전략을 학습한다.
• 상상이 계산 비용을 어떻게 발생시키는지와 에이전트가 외부 보상과 내부 자원 사용을 어떻게 균형 잡는지 탐구한다.

제안 방법

• 행동 여부를 결정하는 매니저, 행동을 제안하는 컨트롤러, 결과를 예측하는 상상 모델, 내부 및 외부 데이터를 집계하는 메모리의 네 가지 구성요소로 IBP를 정의한다.
• 각 단계가 행동을 실행하거나 결과를 상상하는 반복 사이클로 계획을 표현하고, 상상된 경험과 실제 경험으로 계획 컨텍스트를 구축한다.
• 상상 전략 3가지를 구현한다(1스텝, n스텝, 그리고 상상 트리). 이는 어느 상태에서 상상할지와 상상된 행동을 어떻게 연결할지 결정한다.
• 종단 간 학습으로 두 손실(외부 작업 손실(연료 비용 + 목표까지의 최종 거리)과 내부 자원 손실(상상 비용))를 사용하고, 연속적 경로선택에 REINFORCE를 적용하는 그래디언트 기반 최적화를 사용한다.
• 상호작용 네트워크를 세계 모델로 활용하여 상상 역학과 실제 상태 전이 예측 모두에 사용하고, 연속 행동에 대해 SVG 기반 그래디언트를 사용해 최적화한다.

실험 결과

연구 질문

• RQ1 완전히 학습 가능한 모델 기반 플래너가 상상된 롤아웃을 사용하여 계획을 구성하고 평가하며 실행할 수 있는가?
• RQ2 계획할 때 외부 작업 성능과 내부 계산 비용 사이에서 에이전트가 어떻게 균형을 맞추어야 하는가?
• RQ3 연속 및 이산 과제에서 어떤 계획 전략(1스텝, 다중 스텝, 또는 트리와 같은 상상)이 가장 효과적인가?
• RQ4 학습된 상상 전략이 과제 전반에 일반화되고 이산 미로의 상태 모호성을 처리할 수 있는가?

주요 결과

• IBP는 도전적인 연속 제어 과제에서 모델 기반의 상상을 사용하여 성능을 향상시키는 방법을 학습한다.
• 상상은 에이전트가 대안을 시험하고, 행동을 연결하며, 계획을 위한 복잡한 상상 트리를 구축하도록 돕는다.
• 허용된 상상 단계 수를 늘리면 작업 손실이 감소하여 계획에서 미리 내다보는 가치가 나타난다.
• 이산 미로에서 상상 트리 전략은 1스텝 및 n스텝 전략을 능가하고 다중 목표 시나리오에서 최적 보상에 근접한다.