[논문 리뷰] Hierarchical POMDP Controller Optimization by Likelihood Maximization

Marc Toussaint, Laurent Charlin외 1명|arXiv (Cornell University)|2012. 06. 13.

Machine Learning and Algorithms참고 문헌 18인용 수 75

한 줄 요약

이 논문은 부분적으로 관찰 가능한 환경에서 작업 계층을 효율적으로 발견할 수 있도록, 문제를 동적 베이지안 네트워크로 변환함으로써 계층적 POMDP 컨트롤러를 최적화하기 위한 최대우도 추정 방법을 제안한다. 이 방법은 이전의 비볼록 최적화 기법보다 확장성 면에서 뛰어나면서도 효과적인 정책 학습을 유지한다.

ABSTRACT

Planning can often be simpli ed by decomposing the task into smaller tasks arranged hierarchically. Charlin et al. [4] recently showed that the hierarchy discovery problem can be framed as a non-convex optimization problem. However, the inherent computational di culty of solving such an optimization problem makes it hard to scale to realworld problems. In another line of research, Toussaint et al. [18] developed a method to solve planning problems by maximumlikelihood estimation. In this paper, we show how the hierarchy discovery problem in partially observable domains can be tackled using a similar maximum likelihood approach. Our technique rst transforms the problem into a dynamic Bayesian network through which a hierarchical structure can naturally be discovered while optimizing the policy. Experimental results demonstrate that this approach scales better than previous techniques based on non-convex optimization.

연구 동기 및 목표

• 부분적으로 관찰 가능한 도메인에서 계층적 POMDP 컨트롤러 최적화의 계산적 어려움을 해결하기 위해.
• 복잡한 계획 문제에서 작업 계층의 확장 가능한 발견을 가능하게 하기 위해.
• 최대우도 추정을 활용하여 계층적 구조에서의 정책 최적화를 향상시키기 위해.
• 비볼록 최적화의 한계를 극복하기 위해 동적 베이지안 네트워크를 사용해 문제를 재구성하기 위해.

제안 방법

• 시간적 및 계층적 종속성을 모델링하기 위해 계층적 POMDP 계획 문제를 동적 베이지안 네트워크로 변환한다.
• 시뮬레이션 데이터로부터 최적의 계층적 컨트롤러 구조를 학습하기 위해 최대우도 추정을 적용한다.
• 우도 최대화 프레임워크를 사용해 정책 파라미터와 계층적 구조를 함께 최적화한다.
• 잠재 변수를 처리하기 위해 변분 추론 또는 기대값 최대화 기법을 활용한다.
• 순차적 결정 부족 관찰 조건에서 작동할 수 있도록 계층적 컨트롤러를 POMDP 프레임워크에 통합한다.
• 동적 베이지안 네트워크의 구조를 활용해 계산 복잡도를 감소시키고 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 최대우도 추정이 POMDP 내 계층적 구조를 효과적으로 발견하는 데 적용될 수 있는가?
• RQ2 제안된 방법은 기존의 비볼록 최적화 기법 대비 계층 구조 발견에서 어떻게 확장성 면에서 비교되는가?
• RQ3 동적 베이지안 네트워크 공식화가 부분적으로 관찰 가능한 환경에서 효과적인 정책 최적화를 지원할 수 있는가?
• RQ4 계층적 구조 발견이 POMDP 컨트롤러의 성능 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전의 비볼록 최적화 기법보다 계층적 POMDP 학습에서 더 뛰어난 확장성을 달성한다.
• 동적 베이지안 네트워크 공식화가 정책 최적화 과정에서 자연스럽게 계층적 작업 구조를 발견할 수 있도록 한다.
• 최대우도 추정은 데이터로부터 정책 파라미터와 계층적 조직 구조를 효과적으로 학습한다.
• 실험 결과는 이 방법이 복잡한 도메인에서 계산 오버헤드를 줄이면서도 강력한 성능을 유지함을 확인한다.