[논문 리뷰] Hidden Parameter Markov Decision Processes: A Semiparametric Regression Approach for Discovering Latent Task Parametrizations

Finale Doshi‐Velez, George Konidaris|arXiv (Cornell University)|2013. 08. 15.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 28

한 줄 요약

이 논문은 낮은 차원의 잠재 매개변수를 통해 관련된 제어 작업의 가족을 모델링하는 반구조적 베이지안 프레임워크인 은닉 매개변수 마르코프 결정과정(HiP-MDP)을 소개한다. 관련된 잠재 요인을 식별하기 위해 인디안 빕퍼 프로세스(IBP)를 사용하고, 동역학을 모델링하기 위해 가우시안 프로세스(GP)를 활용함으로써, 최소한의 데이터로 새로운 작업 인스턴스에 빠르게 적응할 수 있으며, 아크로봇 도메인에서 단지 5회 에피소드 후에 거의 최적의 성능을 달성한다—표준 모델보다 훨씬 빠르게.

ABSTRACT

Control applications often feature tasks with similar, but not identical, dynamics. We introduce the Hidden Parameter Markov Decision Process (HiP-MDP), a framework that parametrizes a family of related dynamical systems with a low-dimensional set of latent factors, and introduce a semiparametric regression approach for learning its structure from data. In the control setting, we show that a learned HiP-MDP rapidly identifies the dynamics of a new task instance, allowing an agent to flexibly adapt to task variations.

연구 동기 및 목표

• 유사하지만 동일하지 않은 동역학을 가진 관련 제어 작업의 새로운 인스턴스에 효율적으로 적응하는 데 도전한다.
• 낮은 차원의 공유 잠재 매개변수 공간을 사용하여 동역학 시스템 내의 인스턴스 간 변동성을 모델링한다.
• 관련 도메인 간 이전 경험을 활용하여 새로운 작업 인스턴스에 대한 정책 학습을 신속하게 수행한다.
• 시스템 운동학이나 잠재 매개변수의 수에 대한 사전 지식이 필요 없는 비모수적이고 데이터 기반의 방법을 개발한다.
• 구조적인 변형이 있는 제어 애플리케이션에서 전이 학습을 위한 확장 가능하고 유연한 프레임워크를 제공한다.

제안 방법

• 관련 작업들 사이에서 전이 동역학을 예측하는 데 관련된 잠재 매개변수를 식별하기 위해 비모수적 사전분포로 인디안 빕퍼 프로세스(IBP)를 사용한다.
• 잠재 매개변수와 시스템 동역학 간의 기능적 관계를 모델링하기 위해 가우시안 프로세스(GPs)를 활용하여 연속된 매개변수 공간에서의 비모수적 회귀를 가능하게 한다.
• 관측 데이터로부터 다수의 작업 인스턴스에 걸쳐 기저 함수와 가중치를 함께 학습하는 반구조적 회귀 접근법을 적용한다.
• 다양한 관련 작업 인스턴스의 배치 데이터를 활용하여 공유 기저 함수를 사전 학습하고, 이를 바탕으로 새로운 인스턴스의 동역학을 신속히 추론한다.
• 잠재 매개변수에 대한 믿음 갱신 메커니즘을 활용하여 신속한 적응을 가능하게 하며, 부분 관측 기반으로 정책 계획이나 합성에 활용할 수 있다.
• 전체 베이지안 모델의 계산 복잡성을 다루기 위해 변분 근사법을 사용하여 추론을 수행한다.

실험 결과

연구 질문

• RQ1 유사하지만 동일하지 않은 동역학을 가진 작업 가족의 새로운 인스턴스에 제어 에이전트가 어떻게 효율적으로 적응할 수 있는가?
• RQ2 시스템 방정식의 명시적 지식 없이도 관련된 제어 작업 간의 일반화를 가능하게 하는 잠재 매개변수화는 무엇인가?
• RQ3 비모수적 베이지안 모델이 관측 데이터만으로도 MDP 가족의 변동성 구조를 발견할 수 있는가?
• RQ4 제안된 방법은 새로운 작업 인스턴스에 대해 표준 강화학습(RL) 및 베이지안 강화학습(Bayesian RL)과 비교해 샘플 효율성이 어떻게 뛰어나게 되는가?
• RQ5 공유된 낮은 차원의 표현 방식이 관련된 새로운 환경에서 학습을 얼마나 가속화할 수 있는가?

주요 결과

• IBP-GP 모델은 새로운 작업 인스턴스와의 상호작용이 단지 5회 에피소드 후에 아크로봇 도메인에서 거의 최적의 성능을 달성했다.
• 표준 모델은 약 15회 에피소드가 필요로 하여 샘플 효율성 향상의 뚜렷한 성과를 보였다.
• 잠재 매개변수의 수나 기능 형태에 대한 사전 지식 없이도 IBP 사전분포를 통해 관련된 잠재 매개변수를 성공적으로 식별했다.
• 작업 인스턴스 간 공유된 기저 함수의 사용이 빠른 추론과 신속한 적응을 가능하게 하여 전체 재학습의 필요성을 줄였다.
• 질량과 길이와 같은 시스템 매개변수의 변화가 있는 다양한 작업 변형에 대해서도 모델은 견고한 성능을 보였다.
• 특히 초기 상호작용 단계에서 학습 속도와 최종 성능 모두에서 베이스라인 방법들을 능가하는 성과를 보였다.