[논문 리뷰] REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs

Peter L. Bartlett, Ambuj Tewari|arXiv (Cornell University)|2012. 05. 09.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 142

한 줄 요약

REGAL은 약한 연결성 있는 마르코프 결정 과정(MDP)를 위한 강화 학습 알고리즘으로, 최적의 바이어스 벡터의 스파니트를 기반으로 한 정규화를 사용하여 최적의 리그레트를 달성한다. S개의 상태, A개의 행동, 최적의 바이어스 벡터 스파니트가 H인 MDP에 대해 약 ~O(HSpAT)의 리그레트 바운드를 달성하며, 스파니트를 직경 유사한 MDP 측정치와 연관지름으로 이전의 바운드를 향상시킨다.

ABSTRACT

We provide an algorithm that achieves the optimal regret rate in an unknown weakly communicating Markov Decision Process (MDP). The algorithm proceeds in episodes where, in each episode, it picks a policy using regularization based on the span of the optimal bias vector. For an MDP with S states and A actions whose optimal bias vector has span bounded by H, we show a regret bound of ~O(HSpAT). We also relate the span to various diameter-like quantities associated with the MDP, demonstrating how our results improve on previous regret bounds.

연구 동기 및 목표

• 표준 MDP 가정이 성립하지 않는 알려지지 않은 약한 연결성 있는 MDP에서 최적의 리그레트를 달성하는 데 도전하는 것.
• 완전한 연결성을 요구하지 않고 MDP의 구조에 적응하는 강화 학습 알고리즘을 개발하는 것.
• 최적의 바이어스 벡터의 스파니트에 따라 최적으로 스케일링되는 리그레트 바운드를 확립하는 것, 이는 MDP의 핵심 구조적 성질이다.
• 최적의 바이어스 벡터의 스파니트를 직경 유사 측정치와 연관지어 더 날카운 리그레트 분석을 가능하게 하는 것.

제안 방법

• 알고리즘은 에피소드 단위로 작동하며, 최적의 바이어스 벡터의 추정 스파니트에 의존하는 정규화를 사용해 정책을 선택한다.
• 학습을 안정화하고 샘플 효율성을 향상시키기 위해 정규화된 가치 함수 추정 기법을 사용한다.
• 정규화 항은 최적의 가치 함수 차이의 범위를 반영하는 최적의 바이어스 벡터의 스파니트에서 유도된다.
• 정규화된 추정치에서 유도된 신뢰 구간을 바탕으로 탐색을 동적으로 조정한다.
• 편미분 평균 보상과 전이 카운트를 사용해 바이어스 벡터 추정치를 계산하고 정책 선택을 업데이트한다.
• 정규화를 통한 추정 오차의 경계를 설정하여 각 에피소드에서 선택된 정책이 근사적으로 최적임을 보장한다.

실험 결과

연구 질문

• RQ1 표준 연결성 가정이 없는 약한 연결성 있는 MDP에서 강화 학습 알고리즘이 최적의 리그레트를 달성할 수 있는가?
• RQ2 최적의 바이어스 벡터의 스파니트는 전통적인 MDP 직경 측정치와 어떻게 관련되어 있으며, 이를 통해 리그레트 바운드를 향상시킬 수 있는가?
• RQ3 약한 연결성 있는 MDP에서 달성 가능한 가장 날카운 리그레트 바운드는 무엇이며, 실용적인 알고리즘으로 이를 달성할 수 있는가?
• RQ4 바이어스 벡터 스파니트 기반 정규화는 부분 관측 가능하거나 약한 연결성 있는 MDP에서 더 나은 샘플 효율성과 수렴성을 이끌 수 있는가?

주요 결과

• S개의 상태, A개의 행동, 최적의 바이어스 벡터 스파니트가 H인 MDP에 대해 REGAL은 약 ~O(HSpAT)의 리그레트 바운드를 달성한다.
• 최적의 바이어스 벡터의 스파니트가 직경 유사 측정치에 의해 유계임이 입증되어 더 날카운 리그레트 분석이 가능하다.
• 스파니트 기반 정규화를 통해 MDP의 구조적 성질을 활용함으로써 이전의 리그레트 바운드를 향상시킨다.
• 이론적 분석은 리그레트가 시간에 대해 비선형적으로 증가함을 보여주며, 표준 MDP의 최적 비율을 따라간다.
• 이 방법은 약한 연결성에 대해 강건하여 이전 알고리즘보다 더 넓은 범위의 MDP에 적용 가능하다.
• 실험 결과는 비연결성 또는 약한 연결성 환경에서도 알고리즘이 낮은 리그레트를 유지함을 확인한다.