[논문 리뷰] Metareasoning for Planning Under Uncertainty

Christopher H. Lin, Andrey Kolobov외 2명|arXiv (Cornell University)|2015. 05. 03.

Reinforcement Learning in Robotics참고 문헌 25인용 수 6

한 줄 요약

이 논문은 불확실한 환경에서 계획 비용과 정책 향상 간의 균형을 맞추기 위한 마르코프 결정 과정(MDPs)에 대한 메타이성의 형식화를 제안한다. BRTDP 경계를 사용하여 계산의 가치를 추정하는 근사 메타이성 알고리즘을 제안하며, 학습 데이터나 사전 도메인 지식 없이도 메타이성 격차를 크게 줄이고, 특히 향상 잠재력이 높은 도메인에서 뛰어난 성능을 보인다.

ABSTRACT

The conventional model for online planning under uncertainty assumes that an agent can stop and plan without incurring costs for the time spent planning. However, planning time is not free in most real-world settings. For example, an autonomous drone is subject to nature's forces, like gravity, even while it thinks, and must either pay a price for counteracting these forces to stay in place, or grapple with the state change caused by acquiescing to them. Policy optimization in these settings requires metareasoning---a process that trades off the cost of planning and the potential policy improvement that can be achieved. We formalize and analyze the metareasoning problem for Markov Decision Processes (MDPs). Our work subsumes previously studied special cases of metareasoning and shows that in the general case, metareasoning is at most polynomially harder than solving MDPs with any given algorithm that disregards the cost of thinking. For reasons we discuss, optimal general metareasoning turns out to be impractical, motivating approximations. We present approximate metareasoning procedures which rely on special properties of the BRTDP planning algorithm and explore the effectiveness of our methods on a variety of problems.

연구 동기 및 목표

• 시간 민감하거나 자원 제약이 있는 시스템(예: 드론 또는 탐사선)과 같이 실시간 온라인 계획에서 계획 시간이 무료가 아니라는 실용적 제약를 다루기 위해.
• 기본 MDP에 대해 계산 비용과 기대 정책 향상 간의 트레이드오프를 고려하는 일반적인 메타이성 문제를 형식화하여 이전 모델들을 포함한다.
• 최적의 메타이성이 기저 MDP를 해결하는 것보다 다항식 수준으로만 더 어렵지만, 무한한 재귀적 추론과 계산 오버헤드로 인해 여전히 비실용적임을 보여주기 위해.
• 학습 데이터나 사전 도메인 지식 없이도 BRTDP의 상한선을 사용하여 계산의 가치를 추정하는 빠른 근사 메타이성 알고리즘을 개발하기 위해.
• 다양한 메타이성 격차를 가진 합성 도메인에서 이러한 알고리즘의 효과를 평가하며, 특히 높은 영향력이 예상되는 시나리오에서의 성능에 집중하기 위해.

제안 방법

• 에이전트가 행동하기 전에 얼마나 오래 계획할지를 선택하는 결정 문제로 메타이성을 형식화하여, 계산 비용과 기대 정책 향상 간의 트레이드오프를 고려한다.
• 제한된 RTDP(BRTDP)를 활용하여 가치 함수의 상한과 하한을 생성하고, 이를 추가 계획 시간의 가치를 추정하는 데 사용한다.
• 이러한 경계를 사용하여 사전 학습이나 도메인 특화 튜닝 없이도 실시간으로 계산의 가치(VoC)의 기대값을 계산하는 근사 메타이성 절차를 설계한다.
• 비미래적 근사법을 적용하여 다수의 계획 단계를 거쳐 경계 변화를 예측하지만, 실제로는 오차가 누적됨을 보여준다.
• 더 나은 계획 결정으로부터의 잠재적 향상 정도를 수치화하기 위해 메타이성 격차 지표를 도입하여 다양한 도메인 간 성능 기준으로 활용한다.
• 에이전트가 예상 VoC에 기반해 즉시 행동할지 또는 추가로 계획할지를 결정하는 온라인 계획 루프에서 메타이성 정책을 적용한다.

실험 결과

연구 질문

• RQ1 MDPs에 대해 메타이성을 어떻게 형식화할 수 있으며, 계획 비용과 정책 품질 향상의 기대치 간 균형을 맞출 수 있는가?
• RQ2 최적의 메타이성은 기저 MDP를 해결하는 것보다 얼마나 더 복잡한가? 다항식 수준으로만 더 어렵지만 여전히 비실용적인 이유는 무엇인가?
• RQ3 학습 데이터나 사전 도메인 지식 없이도 플래너가 생성한 경계(예: BRTDP에서 유도된 것)에 의존하는 근사 메타이성 알고리즘을 설계할 수 있는가?
• RQ4 어떤 유형의 환경에서 근사 메타이성 알고리즘이 가장 큰 성과를 내며, 메타이성 격차는 성능과 어떻게 관련되는가?
• RQ5 1단계 메타이성 가정이 성능에 미치는 영향은 무엇이며, 이를 다수의 계획 주기로 확장할 경우의 위험 요소는 무엇인가?

주요 결과

• 기본 MDP를 해결하는 것보다 다항식 수준으로만 더 어려운 최적의 일반 메타이성은 여전히 계산 오버헤드와 메타레벨 추론의 무한한 재귀성으로 인해 비실용적이다.
• 제안된 근사 메타이성 알고리즘은 DynamicNOP-2와 같이 향상 잠재력이 높은 도메인에서 메타이성 격차를 크게 줄이며, 기존 기준보다 뛰어난 성능을 보인다.
• DynamicNOP-1에서는 바람이 에이전트를 목표에서 멀리 밀어내므로 메타이성 격차가 작고, 과도한 고민이 오히려 비효율적이므로 알고리즘이 성능이 떨어진다.
• 높은 격차 도메인에서는 메타이너가 기준보다 평균 정책 비용을 더 낮게 유지하지만, VoC 계산의 확률적 성격으로 인해 과도한 고민으로 인해 가끔 더 높은 비용을 치르는 경우가 있다.
• 초기 상태의 메타이성 격차가 전체 성능을 항상 반영하지는 않으며, 다른 상태에서는 더 높은 향상 잠재력이 있을 수 있으므로 상태 중심의 격차 지표에는 한계가 있음을 시사한다.
• 다수의 계획 단계를 앞으로 예측하는 비미래적 확장은 오차 누적과 성능 저하를 초래하며, 이는 1단계 메타이성이 비록 최적이 아니지만 더 안정적임을 시사한다.