[논문 리뷰] Monte Carlo Matrix Inversion Policy Evaluation

Fletcher Lu, Dale Schuurmans|arXiv (Cornell University)|2012. 10. 19.

Reinforcement Learning in Robotics참고 문헌 14인용 수 4

한 줄 요약

이 논문은 강화학습 정책 평가를 위한 몬테카를로 행렬 역행렬(MCMI) 방법을 소개한다. 이 방법은 행렬 역행렬을 랜덤 워크의 기대값으로 간주함으로써 가치 함수를 추정하며, 최대우도 추정법에 비해 런타임을 크게 향상시키고, 시간차분 방법에 비해 정확도를 높인다. 중요도 샘플링과 확장 가능한 샘플링 기법을 통합함으로써 MCMI는 큰 상태 공간에서 더 빠른 수렴과 더 나은 분산 제어를 달성한다.

ABSTRACT

In 1950, Forsythe and Leibler (1950) introduced a statistical technique for finding the inverse of a matrix by characterizing the elements of the matrix inverse as expected values of a sequence of random walks. Barto and Duff (1994) subsequently showed relations between this technique and standard dynamic programming and temporal differencing methods. The advantage of the Monte Carlo matrix inversion (MCMI) approach is that it scales better with respect to state-space size than alternative techniques. In this paper, we introduce an algorithm for performing reinforcement learning policy evaluation using MCMI. We demonstrate that MCMI improves on runtime over a maximum likelihood model-based policy evaluation approach and on both runtime and accuracy over the temporal differencing (TD) policy evaluation approach. We further improve on MCMI policy evaluation by adding an importance sampling technique to our algorithm to reduce the variance of our estimator. Lastly, we illustrate techniques for scaling up MCMI to large state spaces in order to perform policy improvement.

연구 동기 및 목표

• 큰 상태 공간에서 전통적인 모델 기반 정책 평가의 계산 비효율성을 해결한다.
• 시간차분(TD) 방법을 개선하여 가치 함수 추정의 편향과 분산을 줄인다.
• 몬테카를로 샘플링과 행렬 역행렬 기법을 사용해 큰 또는 연속적인 상태 공간으로 정책 평가를 확장한다.
• 중요도 샘플링을 통해 MCMI의 추정기 분산을 줄여 수렴성과 정확도를 향상시킨다.
• 효율적인 샘플링 전략을 통해 MCMI를 고차원 문제로 확장하여 실용적인 정책 개선을 가능하게 한다.

제안 방법

• Forsythe와 Leibler(1950)의 통계적 방법을 활용하여 행렬 역행렬을 랜덤 워크의 기대값으로 공식화한다.
• 경로 시뮬레이션을 통해 행렬 역행렬을 통한 가치 함수 추정으로 MCMI 프레임워크를 정책 평가에 적용한다.
• 경로를 재가중하여 MCMI 추정기의 분산을 줄이기 위해 중요도 샘플링을 도입한다.
• 수렴 속도 향상을 위해 정보성 있는 상태 전이를 우선순위로 하는 샘플링 전략을 사용한다.
• 희소 샘플링과 반복 정밀화를 통해 행렬 역행렬을 근사화하여 큰 상태 공간으로의 확장을 달성한다.
• 추정된 가치 함수를 사용해 정책 개선 단계를 수행함으로써 MCMI를 정책 반복과 결합한다.

실험 결과

연구 질문

• RQ1 몬테카를로 행렬 역행렬은 최대우도 기반 모델 기반 방법보다 더 빠르고 정확한 정책 평가를 제공할 수 있는가?
• RQ2 MCMI는 런타임과 추정 정확도 측면에서 시간차분(TD) 학습을 능가하는가?
• RQ3 중요도 샘플링은 정책 평가의 MCMI 추정기 분산을 줄이는 데 얼마나 효과적인가?
• RQ4 MCMI는 계산 비용이 과도하지 않게 큰 상태 공간이나 연속 상태 공간으로 얼마나 잘 확장될 수 있는가?
• RQ5 특히 고차원 환경에서 MCMI는 실용적으로 효과적인 정책 개선을 지원할 수 있는가?

주요 결과

• MCMI는 특히 고차원 상태 공간에서 최대우도 기반 모델 기반 정책 평가에 비해 뚜렷이 빠른 런타임을 달성한다.
• MCMI는 시간차분(TD) 방법에 비해 추정 오차를 줄여 가치 함수 근사에서 더 높은 정확도를 입증한다.
• 중요도 샘플링의 통합으로 MCMI 추정기의 분산이 감소하여 더 안정적이고 신뢰할 수 있는 가치 추정이 가능해진다.
• 효율적인 샘플링 및 행렬 근사 기법을 통해 메서드는 큰 상태 공간으로 효과적으로 확장된다.
• MCMI는 정확하고 빠른 가치 함수 추정을 제공함으로써 실용적인 정책 개선을 가능하게 하며, 표준 TD 및 모델 기반 기준보다 뛰어난 성능을 보인다.
• 실험 결과, 기준 문제에서 MCMI는 TD(0) 및 모델 기반 접근법보다 더 빠르게 수렴하고 더 낮은 오차를 기록한다.