[논문 리뷰] Stick-Breaking Policy Learning in Dec-POMDPs

Miao Liu, Christopher Amato외 3명|arXiv (Cornell University)|2015. 05. 01.

Fuel Cells and Related Materials참고 문헌 32인용 수 10

한 줄 요약

이 논문은 베이지안 비모수적 프레임워크인 Dec-SBPR를 제안하며, 스틱 브레이킹 사전확률을 사용하여 분산된 POMDP(Dec-POMDP)에서 변수 크기의 유한 상태 제어기(FSC)를 자동으로 학습한다. 이는 최적의 제어기 복잡도를 결정하는 데 기여한다. 이는 오프라인 트레이젝터리 데이터에 기반한 변분 베이지안 알고리즘을 적용하여, 전체 Dec-POMDP 모델이 필요 없이도 확장 가능하고 높은 성능을 보이는 정책 학습을 달성한다. 또한 벤치마크 문제에서 고정 크기의 FSC 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Expectation maximization (EM) has recently been shown to be an efficient algorithm for learning finite-state controllers (FSCs) in large decentralized POMDPs (Dec-POMDPs). However, current methods use fixed-size FSCs and often converge to maxima that are far from optimal. This paper considers a variable-size FSC to represent the local policy of each agent. These variable-size FSCs are constructed using a stick-breaking prior, leading to a new framework called \emph{decentralized stick-breaking policy representation} (Dec-SBPR). This approach learns the controller parameters with a variational Bayesian algorithm without having to assume that the Dec-POMDP model is available. The performance of Dec-SBPR is demonstrated on several benchmark problems, showing that the algorithm scales to large problems while outperforming other state-of-the-art methods.

연구 동기 및 목표

• Dec-POMDP에서 최적의 고정 크기의 유한 상태 제어기(FSC)를 선택하는 데 도전하는 문제를 해결하기 위해, 일반적으로 과소 또는 과도하게 파rameter화되어 서브옵티멀 정책을 초래하는 문제를 해결한다.
• 베이지안 비모수적 방법을 통해 적절한 FSC 크기를 자동으로 결정하는 확장 가능하고 모델 기반의 학습 프레임워크를 개발한다.
• 완전한 모델에 접근할 필요 없이 라인오프라인 동작, 관측, 보상의 트레이젝터리만을 사용하여 대규모 Dec-POMDP에서 효율적인 정책 학습을 가능하게 한다.
• 데이터 기반 사후 추론에 기반해 제어기 복잡도를 동적으로 조정함으로써 수렴 속도 향상과 정책 품질 향상을 달성한다.

제안 방법

• 스틱 브레이킹 사전확률을 사용하여 변수 크기의 FSC를 구성하여, 학습 중에 사후 분포에 의해 활성 상태 수가 결정되도록 한다.
• 에이전트 트레이젝터리에서 유도된 경험적 가치 함수로부터 직접 FSC 파라미터를 추정하기 위해 변분 베이지안(VB) 추론 알고리즘을 적용한다.
• 이전의 계획-인퍼런스 프레임워크에서 사용하는 동적 베이즈 네트워크의 복잡한 가능성 모델링을 피하기 위해, 이동된 경험적 가치 함수를 사용한다.
• 각 에이전트별로 전진 및 후진 메시지(α, β)를 수정된 바움-웰치 스타일 알고리즘을 사용해 재귀적으로 계산하여 효율적인 VB 업데이트를 지원한다.
• 관측된 행동 및 관측 빈도 기반으로 농도 파ram터를 업데이트함으로써 스틱 브레이킹 과정의 사후 초모수를 유도한다.
• 에이전트 수에 대해 선형이고 문제 크기에는 최대 제곱형으로 확장 가능하여 대규모 Dec-POMDP에의 적용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 베이지안 비모수적 접근을 통해 사전 지정 없이 Dec-POMDP에서 최적의 크기의 유한 상태 제어기를 자동으로 결정할 수 있는가?
• RQ2 스틱 브레이킹 사전확률을 사용한 변수 크기의 FSC로 학습하는 것과 고정 크기의 FSC로 학습하는 것 간에 정책 품질과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 변분 베이지안 알고리즘이 전체 모델에 접근할 수 없이 라인오프라인 트레이젝터리 데이터만을 사용하여도 Dec-POMDP에서 고성능 정책을 효과적으로 학습할 수 있는가?
• RQ4 제안된 방법은 최신 기술 대비 성능을 유지하거나 향상시키면서 대규모 Dec-POMDP 문제에 확장 가능한가?

주요 결과

• Dec-SBPR는 여러 벤치마크 Dec-POMDP 문제에서 최신 기술보다 뛰어난 성능을 보이며, 더 높은 예상 누적 보상 수준을 달성한다.
• 알고리즘은 문제의 크기와 에이전트 수에 비례하여 선형으로 확장 가능하여 대규모 문제에 효율적으로 적용된다.
• 스틱 브레이킹 사전확률은 과대 크기의 고정 크기 제어기로 인한 오버피팅을 방지하는 컴act하고 효과적인 FSC를 자동으로 발견하는 데 기여한다.
• 고정 크기의 FSC 방법에 비해 더 빠르게 수렴하고 더 높은 품질의 정책을 달성한다. 고정 크기의 FSC 방법은 종종 서브옵티멀 해에 갇히기 쉽다.
• 실험 결과에 따르면, 조정된 최적 크기의 고정 크기 FSC조차도 Dec-SBPR를 통해 학습된 변수 크기의 FSC가 더 뛰어난 성능을 내는 것으로 나타났다.
• 프레임워크는 라인오프라인 동작, 관측, 보상의 트레이젝터리만을 사용하여 모델 기반의 배치 학습 환경에서 고성능 정책을 성공적으로 학습한다.