[논문 리뷰] Average reward reinforcement learning with unknown mixing times.

Tom Zahavy, Alon Cohen외 2명|arXiv (Cornell University)|2019. 05. 23.

Reinforcement Learning in Robotics참고 문헌 17인용 수 6

한 줄 요약

이 논문은 혼합 시간의 상한이 필요하지 않은 평균 보상 설정을 위한 새로운 강화학습 알고리즘을 제안한다—기존 연구에서의 핵심 제약 사항이다. 마르코프 체인 이론을 활용하여 표본 기반 방법을 설계함으로써 표본 복잡도와 실행 시간에 대한 이론적 보장을 확보하였으며, 혼합 시간이 알려져 있거나 유계가 아닐 수 있는 환경에서도 효율적인 학습을 가능하게 한다.

ABSTRACT

We derive and analyze learning algorithms for apprenticeship learning, policy evaluation, and policy gradient for average reward criteria. Existing algorithms explicitly require an upper bound on the mixing time. In contrast, we build on ideas from Markov chain theory and derive sampling algorithms that do not require such an upper bound. For these algorithms, we provide theoretical bounds on their sample-complexity and running time.

연구 동기 및 목표

• 혼합 시간의 상한이 필요로 하는 기존 평균 보상 강화학습 알고리즘의 한계를 해결한다.
• 혼합 시간이 알려져 있거나 잠재적으로 유계가 아닐 수 있는 환경에서도 강건한 학습을 가능하게 한다.
• 앤티드런십 학습, 정책 평가, 정책 그래เดียน트 최적화를 위한 표본 기반 알고리즘을 개발한다.
• 혼합 시간 가정에 의존하지 않고 표본 복잡도와 실행 시간에 대한 이론적 경계를 제공한다.
• 복잡한 동역학을 가진 실세계 환경에서 평균 보상 강화학습의 이론적 기반을 실용적인 맥락에서 발전시킨다.

제안 방법

• 마르코프 체인 이론에서 도출된 이론적 통찰을 활용하여 혼합 시간이 알려져 있어도 잘 작동하는 알고리즘을 설계한다.
• 혼합 시간에 대한 명시적 지식 없이도 가치 함수와 그래디언트를 추정할 수 있는 표본 기반 절차를 구성한다.
• 경로를 기반으로 한 경험 평균을 사용하여 장기 평균 보상을 근사함으로써 약한 가정 하에 수렴 보장을 확보한다.
• 혼합 시간의 상한이 필요하지 않은 표본 복잡도와 실행 시간을 경계하는 새로운 분석 프레임워크를 도입한다.
• 이 프레임워크를 세 가지 핵심 강화학습 과제에 적용한다: 앤티드런십 학습, 정책 평가, 정책 그래디언트 최적화.
• 표본 복잡도 분석을 위해 농도 부등식과 마르코프 체인의 마틴게일 기반 분석 기법을 평균 보상 설정에 적응시켜 이론적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 혼합 시간의 상한이 필요하지 않은 평균 보상 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 혼합 시간 상한이 없을 경우에도 표본 효율성과 실행 시간 보장을 확보할 수 있는가?
• RQ3 제안된 방법은 앤티드런십 학습과 정책 그래디언트 최적화에 대해 이론적 보장을 제공할 수 있는가?
• RQ4 혼합 행동이 알려져 있지 않은 평균 보상 설정에서 학습을 분석하기 위해 필요한 이론적 도구는 무엇인가?
• RQ5 약한 가정 하에 기존 방법과 비교해 볼 때 제안된 알고리즘의 표본 복잡도와 실행 시간은 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 혼합 시간의 상한이 필요 없이도 표본 복잡도와 실행 시간에 대한 이론적 경계를 확보한다.
• 혼합 시간이 알려져 있거나 유계가 아닐 경우에도 유효한 정책 평가와 정책 그래디언트 업데이트를 가능하게 한다.
• 이론적 분석을 통해 오직 표본 기반 추정치만을 사용하여 평균 보상 기준 하에 최적 정책 수렴이 확인된다.
• 프레임워크는 앤티드런십 학습에 적용 가능하며, 이민 학습 환경으로의 응용 가능성을 넓힌다.
• 경험 평균과 마르코프 체인의 농도 성질에 기반하여 알고리즘은 강력한 성능 보장을 유지한다.
• 결과적으로 혼합 시간의 상한이 평균 보상 강화학습에서 효율적 학습을 위해 필수적이지 않음을 입증하며, 문헌에서 기존의 가정을 도전한다.