[논문 리뷰] Learning Compact Models for Planning with Exogenous Processes

Rohan Chitnis, Tomás Lozano‐Pérez|arXiv (Cornell University)|2019. 09. 30.

Reinforcement Learning in Robotics참고 문헌 16인용 수 7

한 줄 요약

이 논문은 상황에 따라 변화하는 외부 상태 공간이 큰 MDP에서 계획 모델을 단순화하여 학습하기 위한 처리 가능한 알고리즘을 제안한다. 이 알고리즘은 상호정보량을 통해 작업과 관련된 결과를 예측할 수 있는 외부 변수의 부분집합을 선택함으로써, 작업에 관련된 환경 변수에만 집중함으로써 효율적이고 고성능의 계획을 가능하게 한다. 이로 인해 소규모 도메인에서는 경쟁 가능한 수익을 달성하고, 대규모 외부 상태 공간에서도 시뮬레이션된 로봇 조작 작업에 대해 확장 가능하다.

ABSTRACT

We address the problem of approximate model minimization for MDPs in which the state is partitioned into endogenous and (much larger) exogenous components. An exogenous state variable is one whose dynamics are independent of the agent's actions. We formalize the mask-learning problem, in which the agent must choose a subset of exogenous state variables to reason about when planning; doing planning in such a reduced state space can often be significantly more efficient than planning in the full model. We then explore the various value functions at play within this setting, and describe conditions under which a policy for a reduced model will be optimal for the full MDP. The analysis leads us to a tractable approximate algorithm that draws upon the notion of mutual information among exogenous state variables. We validate our approach in simulated robotic manipulation domains where a robot is placed in a busy environment, in which there are many other agents also interacting with the objects. Visit http://tinyurl.com/chitnis-exogenous for a supplementary video.

연구 동기 및 목표

• 외부 상태 공간이 크고 상태 공간이 내재적(행동 제어 가능) 및 큰 외부적(행동에 영향을 받지 않는) 구성요소로 분할된 MDP에서 효율적인 계획을 수행하는 데 도전하는 것.
• 최소한의 외부 변수를 선택하여 전체 MDP에서 거의 최적의 계획을 가능하게 하는 '마스크 학습 문제'를 정식화하는 것.
• 보상과 동역학이 가산적으로 분해되지 않는 경우에도, 감소된 모델에서 최적화된 정책이 전체 MDP에서 최적일 수 있는 조건을 규명하는 것.
• 외부성과 상호정보량을 활용하여 관련된 외부 변수를 식별하는 처리 가능하고 데이터 효율적인 알고리즘을 개발하는 것.
• 다중 에이전트 상호작용이 있는 동적인 환경에서 시뮬레이션된 로봇 조작 작업을 통해 접근법을 검증하고, 확장성과 성능을 입증하는 것.

제안 방법

• 감소된 MDP 모델에 포함시킬 외부 상태 변수의 부분집합을 선택하는 마스크 학습 문제를 정식화하여, 계획 비용을 최소화하면서도 해의 품질을 유지하는 것.
• 작업과 관련된 동역학(예: 물체의 위치)과 외부 변수 간의 상호정보량을 유의미한 관련성의 지표로 사용하여 효율적인 변수 선택을 가능하게 한다.
• 미래의 동역학을 예측할 때 정보량 증가를 기반으로 한 번에 하나의 외부 변수를 마스크에 추가하는 탐욕적 반복 알고리즘을 구축한다.
• 외부성 가정을 활용하여 선택된 변수들에 대해서만 전이 모델을 학습함으로써 모델 복잡도와 계산 시간을 감소시킨다.
• 기대 수익과 마스크 크기 사이의 균형을 맞추는 정규화된 목적함수를 최적화하여, 성능을 손상시키지 않으면서도 모델의 단순화를 촉진한다.
• pybullet를 사용하여 환경 시뮬레이션과 평가를 수행하면서, 다중 에이전트가 참여하는 시뮬레이션된 로봇 조작 작업에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 감소된 MDP(외부 변수의 부분집합을 포함)에서 최적의 정책이 전체 MDP에서도 최적일 수 있는 조건은 무엇인가?
• RQ2 가산적 보상 분해를 가정하지 않고도 전체 MDP에서 높은 수익을 유지할 수 있는 최소한의 외부 변수 집합을 효율적으로 식별할 수 있는가?
• RQ3 외부 변수 간의 상호정보량이 계획에 필요한 변수를 선택하는 신뢰할 수 있는 힌트로 기능할 수 있는가?
• RQ4 기존의 외부성 특성을 활용하지 않는 기준 방법과 비교해 볼 때, 제안된 알고리즘이 대규모 외부 상태 공간에 대해 어떻게 확장 가능한가?
• RQ5 다른 작업에 대해 서로 다른 마스크를 학습할 수 있는가? 이는 작업에 따라 외부 동역학의 관련성이 다르게 반영된다는 의미이다.

주요 결과

• 제안된 알고리즘은 소규모 도메인에서 전체 모델 계획과 비교해도 경쟁 가능한 수익을 달성하며, 모델 단순화에도 불구하고 성능 손실가 최소화됨을 보여준다.
• 외부성이나 동적 관련성을 고려하지 않는 기존 전략보다 성능이 뛰어나며, 특히 고차원 외부 상태 공간을 가진 환경에서 두드러진다.
• 알고리즘은 작업에 특화된 마스크를 성공적으로 학습한다: 비조작 가능한 물체를 목표로 할 경우 다른 에이전트의 상태를 생략하고, 조작 가능한 물체를 목표로 할 경우 관련 에이전트의 상태를 포함한다.
• 학습된 마스크는 직관적인 작업 의존성을 반영한다. 예를 들어, 관련 없는 환경 영역을 제거하고 물체 동역학에 영향을 주는 에이전트에 집중한다.
• 이 접근법은 대규모 외부 상태 공간으로도 확장 가능하며, 전체 계획이 비현실적이었던 곳에서도 효율성과 성능을 유지한다.
• 탐욕적 마스크 확장 방식은 효과적이지만 순차적 선택의 한계가 존재한다. 향후 연구에서는 예측 능력을 향상시키기 위해 동시에 변수를 선택하는 방법을 탐색할 수 있다.