[논문 리뷰] When Is Generalizable Reinforcement Learning Tractable?

Dhruv Malik, Yuanzhi Li외 1명|arXiv (Cornell University)|2021. 01. 01.

Reinforcement Learning in Robotics참고 문헌 48인용 수 6

한 줄 요약

이 논문은 일반화 가능한 강화학습(RL)이 언제 타당한지 분석하기 위해 두 가지 구조적 조건을 도입한다: 약한 유사성(Weak Proximity)은 전이 및 보상 함수가 유사하고 공통의 최적 궤적을 공유하더라도 효율적 일반화를 보장하지 못하지만, 강한 유사성(Stronh Proximity)은 환경들이 공통의 최적 정책을 공유할 경우 효율적 일반화를 가능하게 한다. 주요 기여는, 생성 모델이 있고 개별 환경이 효율적으로 해결 가능하더라도 약한 유사성 하에서는 일반화가 표본 비효율적임을 증명하는 형식적 하한값을 제시하는 것이다. 반면 강한 유사성 하에서는 증명 가능하게 효율적인 학습이 가능하다.

ABSTRACT

Agents trained by reinforcement learning (RL) often fail to generalize beyond the environment they were trained in, even when presented with new scenarios that seem similar to the training environment. We study the query complexity required to train RL agents that generalize to multiple environments. Intuitively, tractable generalization is only possible when the environments are similar or close in some sense. To capture this, we introduce Weak Proximity, a natural structural condition that requires the environments to have highly similar transition and reward functions and share a policy providing optimal value. Despite such shared structure, we prove that tractable generalization is impossible in the worst case. This holds even when each individual environment can be efficiently solved to obtain an optimal linear policy, and when the agent possesses a generative model. Our lower bound applies to the more complex task of representation learning for the purpose of efficient generalization to multiple environments. On the positive side, we introduce Strong Proximity, a strengthened condition which we prove is sufficient for efficient generalization.

연구 동기 및 목표

• 일반화 가능한 강화학습이 계산적으로 타당한 구조적 조건을 규명하는 것.
• 전이 및 보상 함수의 유사성과 공통의 최적 궤적을 공유할 경우, 다중 환경 RL에서 효율적 일반화가 가능한지 분석하는 것.
• 생성 모델과 효율적으로 해결 가능한 개별 환경이 존재하더라도 약한 유사성 하에서는 일반화가 표본 비효율적임을 보여주는 형식적 하한값을 수립하는 것.
• 강한 유사성 조건을 제안하고 다중 환경 RL에서 효율적 일반화를 위한 충분조건로 검증하는 것.
• 기존의 클래스적 측정 기준인 시뮬레이션 레미마가 현대 RL 일반화 설정에서 왜 효율적 일반화를 보장하지 못하는지 명확히 하는 것.

제안 방법

• 약한 유사성(Weak Proximity)을 도입하여, 환경 간에 매우 유사한 전이 및 보상 함수와 공통의 최적 궤적을 요구하는 구조적 조건으로 설정하는 것.
• 이중 트리 형태의 상태 구조와 특수 상태를 사용하여, 약한 유사성 하에서 질의 복잡도 하한값을 증명하기 위한 어려운 사례를 구성하는 것.
• 확률적 추론을 통해 어떤 알고리즘도 핵심 특수 상태를 식별하기 위해 초항수의 상태를 질의해야 하며, 이는 표본 비효율성을 암시하는 것.
• 약한 유사성을 강화하여, 환경들이 공통의 최적 정책을 공유하도록 하여 강한 유사성(Strong Proximity)을 정의하는 것.
• 전이가 결정론적일 경우 강한 유사성을 활용해 효율적 일반화를 달성하는 알고리즘을 설계하는 것.
• 시뮬레이션 레미마와 총변동 거리 바OUNDS를 활용하여 MDP 간의 차이가 가치 함수의 차이와 어떻게 관련되는지 형식적으로 기술하는 것.

실험 결과

연구 질문

• RQ1 마르코프 결정 과정(MDPs)에 대해 일반화 가능한 강화학습이 타당한 구조적 조건은 무엇인가?
• RQ2 환경들이 유사한 전이 및 보상 함수와 최적 궤적을 공유할 경우(약한 유사성), 효율적 일반화를 달성할 수 있는가?
• RQ3 기존의 시뮬레이션 레미마가 현대 RL 설정에서 왜 효율적 일반화를 보장하지 못하는가?
• RQ4 약한 유사성보다 더 강력한 구조적 조건이 다중 환경 간 효율적 일반화를 가능하게 하는가?
• RQ5 개별 환경이 효율적으로 해결 가능하고 구조적으로 유사한 상황에서도 표현 학습을 통한 일반화가 표본 효율적일 수 있는가?

주요 결과

• 통계적 하한값을 통해, 각 개별 환경이 선형 정책으로 해결 가능하고 에이전트가 생성 모델을 가질 수 있는 상황에서도 약한 유사성 하에서는 일반화가 효율적으로 이뤄지지 않음을 보여준다.
• 하한값은 공통의 최적 정책과 구조적 유사성 존재에도 불구하고, 표현 학습을 통한 일반화가 최악의 경우 표본 비효율적임을 암시한다.
• 기존의 시뮬레이션 레미마 측정 기준(총변동 거리와 보상 차이 기반)은 다중 환경 RL에서 효율적 일반화를 위한 필수 조건을 포괄하지 못한다.
• 전이가 결정론적일 경우, 공통의 최적 정책을 요구하는 강한 유사성은 효율적 일반화를 위한 충분조건로 증명된다.
• 하한값 증명은 어떤 알고리즘도 핵심 특수 상태를 식별하기 위해 Ω(n)개의 상태를 질의해야 한다는 구성에 기반하며, 이는 본질적인 질의 복잡도를 보여준다.
• 정책 하에서 두 MDP 간의 가치 차이는 ξ_r H + ξ_tr H로 유계되며, 여기서 ξ_r과 ξ_tr은 각각 최대 보상 차이와 최대 전이 차이를 의미한다. 이는 본문에서 시뮬레이션 레미마를 형식화한 것이다.