[논문 리뷰] Chi-square Tests Driven Method for Learning the Structure of Factored MDPs

Thomas Degris, Olivier Sigaud외 1명|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 13인용 수 11

한 줄 요약

이 논문은 확률 분포 내 통계적 인과성을 탐지함으로써 인자 분해 마르코프 결정 과정(FMDPs)의 구조를 점진적으로 학습하는 데에 카이제곱 검정을 사용하는 SPITI 방법을 제안한다. 카이제곱 임계값을 조정함으로써 SPITI는 가치 함수의 상대 오차가 낮은 정책을 도출하는 압축 모델을 구축한다. FMDP 프레임워크 내에서 효과적인 일반화를 통해 대규모 확률적 강화학습 문제에서 표본 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

SDYNA is a general framework designed to address large stochastic reinforcement learning problems. Unlike previous model based methods in FMDPs, it incrementally learns the structure and the parameters of a RL problem using supervised learning techniques. Then, it integrates decision-theoric planning algorithms based on FMDPs to compute its policy. SPITI is an instanciation of SDYNA that exploits ITI, an incremental decision tree algorithm, to learn the reward function and the Dynamic Bayesian Networks with local structures representing the transition function of the problem. These representations are used by an incremental version of the Structured Value Iteration algorithm. In order to learn the structure, SPITI uses Chi-Square tests to detect the independence between two probability distributions. Thus, we study the relation between the threshold used in the Chi-Square test, the size of the model built and the relative error of the value function of the induced policy with respect to the optimal value. We show that, on stochastic problems, one can tune the threshold so as to generate both a compact model and an efficient policy. Then, we show that SPITI, while keeping its model compact, uses the generalization property of its learning method to perform better than a stochastic classical tabular algorithm in large RL problem with an unknown structure. We also introduce a new measure based on Chi-Square to qualify the accuracy of the model learned by SPITI. We qualitatively show that the generalization property in SPITI within the FMDP framework may prevent an exponential growth of the time required to learn the structure of large stochastic RL problems.

연구 동기 및 목표

• 대규모 인자 분해 MDP(FMDPs)의 구조 학습 문제를 스위치 강화학습 환경에서 해결하기 위해.
• 감독 학습 기법을 사용하여 점진적으로 구조와 파라미터를 모두 학습하는 방법을 개발하기 위해.
• 결과 모델이 압축된 상태를 유지하면서도 높은 정책 성능을 유도하기 위해.
• 점진적 학습의 일반화 능력을 활용하여 학습 시간이 지수적으로 증가하는 것을 방지하기 위해.
• FMDP 구조 학습에서 모델 정확도 평가를 위한 카이제곱 기반 측정법을 도입하기 위해.

제안 방법

• SPITI는 전이 및 보상 함수 내 랜덤 변수 간의 통계적 인과성을 탐지하기 위해 카이제곱 검정을 사용한다.
• 이 방법은 FMDP의 전이 역학을 표현하기 위해 국소적 구조를 가진 동적 베이지안 네트워크를 점진적으로 구축한다.
• 학습된 모델 기반으로 정책을 계산하기 위해 구조적 가치 반복의 점진적 버전을 적용한다.
• 카이제곱 검정 임계값은 모델 복잡도를 제어한다: 낮은 임계값은 더 조밀한 모델을, 높은 임계값은 더 희소한 모델을 생성한다.
• 학습된 모델 구조의 정확도를 평가하기 위해 새로운 카이제곱 기반 측정법을 도입한다.
• 보상 함수와 조건부 확률 분포를 학습하기 위해 점진적 결정수 나무 알고리즘인 ITI를 통합한다.

실험 결과

연구 질문

• RQ1 대규모 확률적 강화학습 문제에서 인자 분해 MDP의 구조를 효율적으로 학습할 수 있는 방법은 무엇인가?
• RQ2 카이제곱 검정 임계값, 모델 크기, 가치 함수 오차 측면에서의 정책 품질 간의 관계는 어떠한가?
• RQ3 일반화 능력을 활용하여 압축된 FMDP 모델을 학습하면서도 높은 정책 성능을 유지할 수 있는가?
• RQ4 카이제곱 기반의 점진적 구조 학습 방법은 대규모 문제에서 전통적인 표본 기반 Q-학습과 비교해 어떻게 성능을 발휘하는가?
• RQ5 학습 방법의 일반화 특성은 대규모 FMDPs에서 학습 시간이 지수적으로 증가하는 것을 방지할 수 있는가?

주요 결과

• 카이제곱 임계값을 조정함으로써 모델의 압축성과 정책 정확성 사이의 트레이드오프를 가능하게 하여 가치 함수의 상대 오차를 낮출 수 있다.
• SPITI는 구조가 알려지지 않은 대규모 확률적 문제에서 전통적인 표본 기반 강화학습 알고리즘보다 뛰어난 성능을 발휘한다.
• 이 방법은 일반화 능력을 활용하여 학습 효율성을 향상시키면서도 압축된 모델을 유지한다.
• 카이제곱 기반의 모델 정확도 측정법은 정책 성능과 상관관계가 있는 정성적 지표로서 모델 품질을 평가하는 데 유용하다.
• 점진적 구조 학습 접근법은 학습 시간의 지수적 증가를 방지하여 대규모 FMDPs로의 확장성을 보장한다.
• 실험 결과는 진짜 구조가 알려지지 않은 경우에도 FMDP 프레임워크 내에서 효과적인 일반화 덕분에 SPITI가 효율적인 학습을 달성할 수 있음을 보여준다.