[논문 리뷰] CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs

Rohan Chitnis, Tom Silver외 3명|arXiv (Cornell University)|2020. 07. 26.

AI-based Problem Solving and Planning인용 수 7

한 줄 요약

이 논문은 자기가 부과한 제약 조건을 통해 문맥 특화 독립성(CSIs)을 유도함으로써 인과적 MDP에서 계획 효율성을 향상시키는 기반 학습 방법인 문맥 특화 추상 MDP(CAMPs)를 제안한다. 보상과 계산 비용 간의 트레이드오프를 최적화하기 위해 문맥 선택기를 학습시킴으로써 CAMPs는 다양한 도메인에서 더 빠르고 거의 최적의 계획을 가능하게 하며, 기준 계획기와 도메인 특화 알고리즘 모두를 능가한다.

ABSTRACT

Meta-planning, or learning to guide planning from experience, is a promising approach to improving the computational cost of planning. A general meta-planning strategy is to learn to impose constraints on the states considered and actions taken by the agent. We observe that (1) imposing a constraint can induce context-specific independences that render some aspects of the domain irrelevant, and (2) an agent can take advantage of this fact by imposing constraints on its own behavior. These observations lead us to propose the context-specific abstract Markov decision process (CAMP), an abstraction of a factored MDP that affords efficient planning. We then describe how to learn constraints to impose so the CAMP optimizes a trade-off between rewards and computational cost. Our experiments consider five planners across four domains, including robotic navigation among movable obstacles (NAMO), robotic task and motion planning for sequential manipulation, and classical planning. We find planning with learned CAMPs to consistently outperform baselines, including Stilman's NAMO-specific algorithm. Video: https://youtu.be/wTXt6djcAd4 Code: https://git.io/JTnf6

연구 동기 및 목표

• 복잡한 인과적 MDP에서 온라인 계획의 높은 계산 비용을 해결하기 위해.
• 자기 부과된 제약 조건을 통해 유도된 문맥 특화 독립성(CSIs)을 활용하여 계획 효율성을 향상시키기 위해.
• 계획 보상과 계산 비용 간의 트레이드오프를 최적화하는 문맥 선택기를 학습하기 위해.
• 로봇 주행, 순차적 조작, 고전적 계획 등 다양한 도메인으로 일반화하기 위해.
• 직접 반응 정책을 학습하는 것보다 문맥을 부과하는 방식을 학습하는 것이 더 일반적이고 효과적임을 입증하기 위해.

제안 방법

• 이 방법은 자기 부과된 제약 조건에 의해 유도된 관련 없는 변수들을 제거함으로써 원래의 인과적 MDP를 추상화하는 문맥 특화 추상 MDP(CAMPs)를 도입한다.
• 이전 계획 경험에서의 훈련 데이터를 기반으로, 주어진 작업에 대해 최적의 제약 조건을 예측할 수 있는 문맥 선택기를 지도학습 또는 이mitation 학습을 통해 학습한다.
• 문맥 선택기는 λ로 매개변수화된 가중치가 부여된 목적 함수를 최대화하도록 학습되며, 이 목적 함수는 기대 수익과 계산 비용을 균형 잡는다.
• CSIs는 훈련 작업들로부터 식별되며, 이를 바탕으로 생성된 CAMPs는 테스트 시점에서 효율적으로 계획을 수행한다.
• 이 방법은 문맥 유도 변수의 무관성에서 유도된 구조적 추상화의 가설 공간을 사용하여, 전체 MDP를 해결하지 않고도 효율적인 계획을 가능하게 한다.
• CAMPs에서 여러 계획기(Monte Carlo Tree Search, FastDownward, 작업-운동 계획기 등)를 평가하여 일반성과 강건성을 점검한다.

실험 결과

연구 질문

• RQ1 계획에서 자기 부과된 제약 조건이 문맥 특화 독립성을 유도할 수 있으며, 이로 인해 계획 복잡도를 크게 감소시킬 수 있는가?
• RQ2 학습된 문맥 선택기가 보상과 계산 효율성 측면에서 수작업 또는 도메인 특화 계획기보다 뛰어난 성능을 보일 수 있는가?
• RQ3 복잡한 인과적 MDP에서 유용한 제약 조건을 예측하는 것을 학습하는 것이 반응 정책을 직접 학습하는 것보다 더 잘 일반화되는가?
• RQ4 다양한 문맥 선택에 따라 보상과 계획 비용 간의 트레이드오프는 어떻게 변화하며, 이를 효과적으로 최적화할 수 있는가?
• RQ5 CAMPs가 이산적이고 연속적인 상태, 관계 구조, 희박한 보상이 존재하는 다양한 도메인에 효과적으로 적용될 수 있는가?

주요 결과

• 일반적인 작업 및 운동 계획기와 함께 사용한 CAMPs가 NAMO 도메인에서 Stilman의 도메인 특화 NAMO 알고리즘보다 보상과 계획 속도 측면에서 뛰어나게 성과를 냈다.
• NAMO 도메인에서 CAMPs는 다수의 동등한 경로가 존재하는 상황에서도 목표 달성 속도와 수익이 기준보다 높게 유지되는 제약 조건을 학습하여 더 나은 성능을 보였다.
• 모든 λ 값에서 CAMP 정책의 목적 함수 값은 무작위 정책보다 항상 높게 유지되었으며, 순수 계획 방식은 λ가 증가함에 따라 성능이 크게 떨어졌다.
• 고전적 계획 및 순차적 조작을 포함한 네 도메인 전반에서 CAMPs를 사용한 계획은 기준 계획기보다 일관되게 뛰어난 성능을 보였다.
• 이 방법은 보상과 계산 비용 간에 강력한 균형을 이루었으며, 수익이 순수 계획(λ=0)과 무작위 동작 선택(λ→∞) 사이에서 매끄럽게 보간되었다.
• 희박한 보상과 긴 계획 수평을 가진 복잡한 환경에서도 문맥 선택기는 효과적인 제약 조건을 성공적으로 식별하였으며, 훈련 데이터를 초월한 일반화 능력을 입증하였다.