[논문 리뷰] Policy Improvement for POMDPs Using Normalized Importance Sampling

Christian R. Shelton|arXiv (Cornell University)|2013. 01. 10.

Machine Learning and Algorithms참고 문헌 12인용 수 41

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에서 정책 개선을 위한 정규화된 중요도 샘플링 추정기의 도입을 제안하며, 환경에 대한 사전 지식이 필요 없이 이앙 평가(off-policy evaluation)를 가능하게 한다. 이 방법은 저분산, 편향이 있는 추정치를 제공하여 이중 비교(pairwise comparison)에 효과적이며, 이는 그리디 탐색 알고리즘에서 REINFORCE에 비해 시행 횟수를 한 차수 감소시킨다.

ABSTRACT

We present a new method for estimating the expected return of a POMDP from experience. The method does not assume any knowledge of the POMDP and allows the experience to be gathered from an arbitrary sequence of policies. The return is estimated for any new policy of the POMDP. We motivate the estimator from function-approximation and importance sampling points-of-view and derive its theoretical properties. Although the estimator is biased, it has low variance and the bias is often irrelevant when the estimator is used for pair-wise comparisons. We conclude by extending the estimator to policies with memory and compare its performance in a greedy search algorithm to REINFORCE algorithms showing an order of magnitude reduction in the number of trials required.

연구 동기 및 목표

• 임의의 정책에서 수집된 경험을 사용하여 POMDP 정책의 기대 수익을 추정하는 방법을 개발하는 것.
• 모델 지식이나 온정책 롤아웃(on-policy rollouts) 없이 POMDP에서 정책 개선을 가능하게 하는 것.
• 편향이 존재하지만 실용성과 함께 분산을 낮추는 이앙 정책 평가를 유지하는 것.
• 순차적 결정 문제에서의 적용성을 향상시키기 위해 기억을 갖는 정책을 다룰 수 있도록 추정기를 확장하는 것.
• REINFORCE 기반 방법에 비해 더 높은 샘플 효율성을 보이는 그리디 정책 탐색에서의 성능 향상

제안 방법

• 이 방법은 경험을 행동 정책(behavior policy)에 따라 수집한 자료로부터 목표 정책의 기대 수익을 정규화된 중요도 샘플링을 사용하여 추정한다.
• 이론적 기반을 확보하기 위해 함수 근사와 중요도 샘플링의 관점에서 추정기를 유도한다.
• 편향은 존재하지만 분산이 낮아 정책 반복에서 이중 정책 비교에 적합하다.
• 히스토리 기반 행동 선택을 통합하여 기억을 갖는 정책을 다룰 수 있도록 방법을 확장한다.
• 기존의 REINFORCE 스타일 업데이트를 대체하기 위해 그리디 정책 탐색 알고리즘에 추정기를 통합한다.
• 행동 정책와 목표 정책가 다를 수 있는 이앙 학습을 지원하여 기존 경험의 재사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 지식이 필요 없이 POMDP 정책 평가를 위한 저분산 이앙 추정기를 구성할 수 있는가?
• RQ2 정규화된 중요도 샘플링 추정기는 실제로 POMDP 정책 개선에 어떻게 작용하는가?
• RQ3 REINFORCE에 비해 그리디 정책 탐색에서 샘플 복잡도가 얼마나 감소하는가?
• RQ4 메모리 기반 정책을 다룰 수 있도록 추정기를 확장할 수 있는가?
• RQ5 이중 정책 비교에 사용될 때 추정기의 편향은 실용적으로 의미가 있는가?

주요 결과

• 정규화된 중요도 샘플링 추정기는 POMDP의 이앙 평가에서 표준 중요도 샘플링보다 유의미하게 낮은 분산을 달성한다.
• 편향이 존재하지만 실질적으로는 정책 비교에 사용될 경우 흔히 무시할 수 있을 정도로 작다.
• 모델 지식이 없이도 임의의 정책에서 수집된 경험을 사용하여 효과적인 정책 개선이 가능하며, 온정책 롤아웃이 필요하지 않다.
• 그리디 정책 탐색에서 제안된 방법은 REINFORCE에 비해 시행 횟수를 한 차수 감소시켰다.
• 기억을 갖는 정책으로의 추정기 확장은 순차적 결정 과제에서 안정성과 성능을 유지한다.
• 실험 결과는 추정기가 REINFORCE보다 샘플 효율성에서 뛰어나면서도 신뢰할 수 있는 정책 개선을 유지함을 보여준다.