[논문 리뷰] When Simple Exploration is Sample Efficient: Identifying Sufficient Conditions for Random Exploration to Yield PAC RL Algorithms

Yao Liu, Emma Brunskill|arXiv (Cornell University)|2018. 05. 23.

Reinforcement Learning in Robotics참고 문헌 26인용 수 6

한 줄 요약

이 논문은 강화학습에서 무작위 탐색이 표본 효율적인 학습으로 이어지는 데 필요한 구조적 조건을 규명하며, 핵심 MDP 성질—예를 들어 정적 점유 분포와 전이 그래프의 스펙트럼 성질—이 다항식적으로 스케일링될 경우 Q-러닝과 무작위 보행 탐색이 PAC(Possibly Approximately Correct) 표본 복잡도를 달성함을 증명한다. 주요 기여는 단순한 탐색이 효율적인 학습을 가능하게 하는 조건을 보여주는 이론적 프레임워크를 제공하는 것이다.

ABSTRACT

Efficient exploration is one of the key challenges for reinforcement learning (RL) algorithms. Most traditional sample efficiency bounds require strategic exploration. Recently many deep RL algorithms with simple heuristic exploration strategies that have few formal guarantees, achieve surprising success in many domains. These results pose an important question about understanding these exploration strategies such as $e$-greedy, as well as understanding what characterize the difficulty of exploration in MDPs. In this work we propose problem specific sample complexity bounds of $Q$ learning with random walk exploration that rely on several structural properties. We also link our theoretical results to some empirical benchmark domains, to illustrate if our bound gives polynomial sample complexity in these domains and how that is related with the empirical performance.

연구 동기 및 목표

• 간단한 무작위 탐색이 언제 표본 효율적인 강화학습을 이끌 수 있는지 이해함으로써, 전략적 탐색이 항상 필요하다는 가정에 도전함.
• 무작위 보행 탐색의 맥락에서 탐색이 쉬운가 어려운가를 결정짓는 MDP의 구조적 성질을 규명함.
• 전략적 탐색 히وري스틱에 의존하지 않고, Q-러닝에 대한 문제별 정확한 표본 복잡도 한계를 제공함.
• 표본 효율성에 대한 이론적 우려가 있음에도 불구하고, e-그리디 및 무작위 탐색이 격자 세계나 아케이드 게임과 같은 도메인에서 실제로 성공한 이유를 설명함.
• 무작위 탐색이 증명 가능하게 효율적인 환경을 규명함으로써, 강화학습에서 알고리즘 선택과 환경 설계에 대한 지침을 제공함.

제안 방법

• 무작위 보행에서의 정적 점유 분포 φ(s)를 사용하여 MDP에서의 무작위 보행 탐색을 분석하는 이론적 프레임워크를 제안함.
• 커버링 시간과 표본 복잡도를 유한하게 제한하기 위해 그래프 라플라시안의 고유값과 부분 전이 행렬의 노름을 도입함.
• 지정된 방향성 그래프에서의 무작위 보행 이론 결과(Chung, 2005)를 응용하여 상태에 대한 첫 번째 도착 시간에 대한 유한 표본 한계를 유도함.
• 행렬 노름 부등식과 헬더 부등식을 사용하여 (I - P^T_{-v,-v})^{-1}을 통한 모든 상태를 커버하는 데 걸리는 기대 시간을 유한하게 제한함으로써 표본 효율성과 연결함.
• 대칭적인 동작 매핑이 상태 간에 존재함으로써 유리한 점유 분포를 보장하는 새로운 구조적 성질인 '국소 대칭 동작'을 정의함.
• 커버링 시간에 대한 한계를 유도: 4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)], 이는 부분 전이 행렬의 노름이 1보다 작을 경우 유한해짐.

실험 결과

연구 질문

• RQ1 MDP의 어떤 구조적 조건에서 무작위 탐색이 Q-러닝에서 다항식 표본 복잡도를 달성하는가?
• RQ2 e-그리디와 같은 단순한 탐색 전략이 표본 효율성에 대한 공식적 보장을 결여하고 있음에도 불구하고, 격자 세계나 아케이드 게임과 같은 일부 환경에서 성공하는 이유는 무엇인가?
• RQ3 비틀림이 있는 구조를 가진 MDP, 예를 들어 트랩도어가 있는 MDP에서 무작위 탐색이 증명 가능하게 표본 효율적인가?
• RQ4 전이 그래프의 스펙트럼 성질(예: 고유값, 행렬 노름)은 무작위 보행 기반 탐색의 효율성과 어떻게 관련되는가?
• RQ5 무작위 탐색이 효율적인 MDP와 지수적으로 비효율적인 MDP(예: 조합 锁 MDP 또는 체인 MDP)를 어떻게 구분할 수 있는가?

주요 결과

• 정적 점유 분포 φ(s)와 전이 행렬의 스펙트럼 성질이 잘 조율되어 있으면, 무작위 탐색 후 그리디 이용 전략이 PAC 표본 복잡도를 달성할 수 있음.
• 무작위 보행 탐색의 커버링 시간은 4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)]로 유한하게 제한되며, 이는 부분 전이 행렬의 노름이 1에서 멀리 떨어져 있을 경우 MDP 크기의 다항식으로 유한해짐.
• 서로 다른 상태 간의 최소 일보 전이 확률이 p_min > 0이면, 커버링 시간은 4SA ln(4SA) / p_min로 유한하게 제한되며, 이는 다항식 한계임.
• 국소 대칭 동작—즉, 상태 간에 대칭적인 일对일 사상이 존재하는 동작—는 유리한 정적 분포를 보장하며, 따라서 효율적인 탐색이 가능함.
• 체인 MDP와 몬테주마의 복수(Montezuma’s Revenge)는 악화된 스펙트럼 성질과 긴 첫 도착 시간으로 인해 무작위 탐색에 대해 어렵다는 것이 입증되었으며, 이는 이들의 실험적 어려움을 설명함.
• 유한 직경 또는 얕은 계획 성질은 전략적 탐색에 유용하지만, 무작위 탐색 하에서 표본 효율성을 보장하기에는 부족함을 드러내며, 이는 알고리즘 요구사항의 핵심적 차이를 강조함.