[논문 리뷰] Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm

Yasin Abbasi-Yadkori, Csaba Szepesvári|arXiv (Cornell University)|2014. 06. 16.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 6

한 줄 요약

이 논문은 연속적인 상태 및 행동 공간을 가진 매끄럽게 파arameterized된 마르코프 결정 과정(MDP)에서 베이지안 최적 제어를 위한 게으른 사후 표본 추출(Lazy Posterior Sampling, LPS) 알고리즘을 제안한다. 매개변수 불확실성이 상당히 감소할 때까지 정책 업데이트를 연기함으로써, LPS는 무한 시간, 계속되는 설정에서 계산 효율성과 성능 간의 균형을 이루며 근사 최적의 누적 손실($\widetilde{O}(\sqrt{T} + \Sigma_T)$)을 달성한다.

ABSTRACT

We study Bayesian optimal control of a general class of smoothly parameterized Markov decision problems. Since computing the optimal control is computationally expensive, we design an algorithm that trades off performance for computational efficiency. The algorithm is a lazy posterior sampling method that maintains a distribution over the unknown parameter. The algorithm changes its policy only when the variance of the distribution is reduced sufficiently. Importantly, we analyze the algorithm and show the precise nature of the performance vs. computation tradeoff. Finally, we show the effectiveness of the method on a web server control application.

연구 동기 및 목표

• 무한한 상태 및 행동 공간을 가진 연속적이고 매끄럽게 파arameterized된 MDP에서 베이지안 최적 제어의 계산 비가용성 문제를 해결하기 위해.
• 불필요한 정책 업데이트를 최소화함으로써 높은 성능을 유지하면서도 계산 효율적인 알고리즘을 개발하기 위해.
• 무한 시간, 계속되는 제어 문제의 맥락에서 누적 손실과 계산 비용 간의 상호 교환 관계를 이론적으로 규명하기 위해.
• 유한 MDP를 초월하여 파라미터화된 역학을 가진 연속 시스템으로 후행 표본 추출 기반 제어를 확장하기 위해.
• 노이즈가 많고 불확실한 역학을 가진 실세계 웹 서버 제어 응용에서 방법을 실증적으로 검증하기 위해.

제안 방법

• 알고리즘은 알려지지 않은 시스템 역학에 대한 현재 사후 분포에서 무작위로 매개변수 벡터를 추출한다.
• 기존 최적 제어 방법을 사용하여 추출된 매개변수 벡터에 대해 최적의 제어 정책을 계산한다.
• 사후 분산이 충분히 감소할 때까지 정책 업데이트를 연기하며, 이는 불확실성 감소의 임계값으로 측정된다.
• 단계 길이를 현재 매개변수 불확실성 수준에 따라 적응적으로 조정함으로써 빈번하고 고비용인 정책 재계산을 방지한다.
• 이 방법은 효율적인 표본 추출과 최적화를 가능하게 하는 밀도 있고 매끄러운 시스템 역학의 파라미터화에 의존한다.
• 이론적 분석은 오스반드 등(2013)과 아바시-야드코리 & 쎄페스바르리(2011)의 기법을 융합하여 시간 영역 $T$와 해의 정밀도 $\Sigma_T$에 따라 누적 손실을 경계한다.

실험 결과

연구 질문

• RQ1 무한한 상태 및 행동 공간을 가진 연속적이고 매끄럽게 파라미터화된 MDP에서 베이지안 최적 제어는 어떻게 효율적으로 근사할 수 있는가?
• RQ2 불확실성 감소 기반 정책 업데이트 연기 시 성능-비용 상호 교환 관계는 어떻게 이론적으로 분석할 수 있는가?
• RQ3 후행 표본 추출은 파라미터화된 역학을 가진 비에피소드적, 계속되는 제어 문제에 어떻게 적응시킬 수 있는가?
• RQ4 게으른 사후 표본 추출 알고리즘의 누적 손실은 시간과 해의 정확도에 따라 어떻게 스케일링되는가?
• RQ5 다양한 노이즈 수준에서 OFULQ와 같은 낙관적 알고리즘과 비교할 때, 이 알고리즘의 누적 손실과 계산 비용은 어떻게 다른가?

주요 결과

• 게으른 사후 표본 추출 알고리즘은 기대 누적 손실이 $\widetilde{O}(\sqrt{T} + \Sigma_T)$임을 달성한다. 여기서 $\Sigma_T$는 최적 제어 문제를 근사적으로 해결하는 데 드는 비용을 나타낸다.
• 노이즈 분산이 높을 경우($\sigma = 1.0$), OFULQ 알고리즘은 낙관적 최적화 문제를 해결하는 데 더 큰 계산 부담을 지닌다. 이에 비해 LPS는 이에 비해 더 낮은 누적 손실을 기록한다.
• 낮은 노이즈($\sigma = 0.1$) 조건에서는 LPS의 누적 손실이 OFULQ보다 略로 떨어지지만, 여전히 수용 가능한 범위 내에 있어 다양한 노이즈 수준에서의 강인성을 입증한다.
• 사전 분포의 선택은 누적 손실에 영향을 미치며, 더 넓은 사전 분포($\lambda$)는 초기 불확실성과 더 높은 누적 손실을 초래한다. 이는 평균이 0인 가우시안 사전 분포를 사용한 실험에서 확인되었다.
• 웹 서버 제어 문제에 대한 실증 결과는 LPS가 성능과 계산 비용을 효과적으로 균형 잡고 있음을 확인하며, 특히 높은 불확실성 조건에서 뛰어난 성능을 발휘한다.
• 10회의 독립 시행에서 LPS의 성능은 안정적이며, 누적 손실의 표준편차가 낮게 유지되어 반복 가능성과 안정성을 입증한다.