[논문 리뷰] Sample complexity of episodic fixed-horizon reinforcement learning

Christoph Dann, Emma Brunskill|arXiv (Cornell University)|2015. 12. 07.

Reinforcement Learning in Robotics참고 문헌 21인용 수 85

한 줄 요약

이 논문은 에피소드형 고정된 수평선 강화 학습에 대해 날카운 샘플 복잡도 경계를 확립하며, 상한과 하한 경계를 각각 O(|S|²|A|H²/∊² ln 1/δ) 및 Ω(|S||A|H²/∊² ln 1/δ + c)로 도출한다. 이는 로그 인자와 선형 |S| 의존성 외에는 정확하게 일치하며, 베르누이의 부등식을 활용해 이전의 H³ 시간 수평선 의존성보다 향상시킨다.

ABSTRACT

Recently, there has been significant progress in understanding reinforcement learning in discounted infinite-horizon Markov decision processes (MDPs) by deriving tight sample complexity bounds. However, in many real-world applications, an interactive learning agent operates for a fixed or bounded period of time, for example tutoring students for exams or handling customer service requests. Such scenarios can often be better treated as episodic fixed-horizon MDPs, for which only looser bounds on the sample complexity exist. A natural notion of sample complexity in this setting is the number of episodes required to guarantee a certain performance with high probability (PAC guarantee). In this paper, we derive an upper PAC bound O(|S|2|A|H2/∊2 ln 1/δ) and a lower PAC bound Ω(|S||A|H2/∊2 ln 1/δ+c) that match up to log-terms and an additional linear dependency on the number of states |S|. The lower bound is the first of its kind for this setting. Our upper bound leverages Bernstein's inequality to improve on previous bounds for episodic finite-horizon MDPs which have a time-horizon dependency of at least H3.

연구 동기 및 목표

• 에피소드형 고정된 수평선 MDP에서 기존 상한과 하한 경계 사이의 격차를 해소하기 위해.
• 고정된 수평선 에피소드 강화 학습에서 샘플 복잡도에 대한 첫 번째 알려진 하한 경계를 확립하기 위해.
• 이전의 상한 경계가 H³에 비례하도록 개선하기 위해 베르누이의 부등식을 활용하기 위해.
• 상태 공간 |S|, 행동 공간 |A|, 수평선 H, 오차 ∊에 대해 날카로운 의존성으로 고정된 수평선 MDP에 대한 PAC 학습 보장을 제공하기 위해.

제안 방법

• 시간 수평선 H에 대한 의존성의 강화를 위해 베르누이의 부등식을 사용하여 상한 PAC 경계를 유도한다.
• 고정된 수평선 MDP에 대해 알려진 첫 번째 Ω(|S||A|H²/∊² ln 1/δ + c) 샘플 복잡도 하한 경계를 증명하기 위해 하한 인스턴스를 구성한다.
• PAC 학습의 맥락에서 에피소드 길이 H, 상태 공간 크기 |S|, 행동 공간 |A| 간의 상호작용을 분석한다.
• 값 함수 근사에서의 추정 오차를 제한하기 위해 농도 불등식을 사용한다.
• 유도된 경계를 이전 결과와 비교하여 H-의존성에서 H³에서 H²로의 향상이 있음을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 수평선 MDP에서 PAC 보장을 달성하기 위해 필요한 에피소드 수에 대한 가장 날카로운 상한은 무엇인가요?
• RQ2 고정된 수평선 에피소드 강화 학습에서 샘플 복잡도의 근본적인 하한은 무엇인가요?
• RQ3 샘플 복잡도는 상태 수 |S|, 행동 수 |A|, 수평선 H, 그리고 원하는 정확도 ∊에 따라 어떻게 척도화되나요?
• RQ4 이전 상한 경계에서의 H³ 의존성은 향상시킬 수 있으며, 만약 그렇다면 어떤 기법으로 이루어지나요?

주요 결과

• 샘플 복잡도 상한은 O(|S|²|A|H²/∊² ln 1/δ)이며, 베르누이의 부등식을 통해 이전의 H³ 의존성보다 향상되었다.
• 고정된 수평선 MDP에 대해 알려진 첫 번째 하한은 Ω(|S||A|H²/∊² ln 1/δ + c)이며, 상한과 로그 인자 외에는 정확히 일치한다.
• 상한과 하한은 |S|, |A|, H, ∊, δ에 대한 의존성에서 로그 항과 선형 |S| 요소를 제외하고 일치한다.
• H-의존성에서 H³에서 H²로의 향상은 고정된 수평선 RL에 대한 이론적 보장의 상당한 강화를 보여준다.