[논문 리뷰] A Review of Off-Policy Evaluation in Reinforcement Learning

Masatoshi Uehara, Chengchun Shi외 1명|arXiv (Cornell University)|2022. 12. 13.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 강화학습에서 이완정책 평가(OPE)에 대한 종합적인 리뷰를 제공하며, 통계학, 컴퓨터 과학, 인과 추론 분야의 시각을 통합한다. 최신 OPE 방법들을 통합적으로 분석하고, 그들의 통계적 성질과 효율성 한계를 다루며, 장수명, 부분관측 가능, 일반적인 인과 그래프 환경에서의 과제를 탐색하여, 오프라인 데이터로부터 정책을 평가하기 위한 체계적인 프레임워크를 제안하며 철학적 이론적 기반을 제공한다.

ABSTRACT

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

연구 동기 및 목표

• 통계학, 컴퓨터 과학, 경제학 분야를 아우르는 이완정책 평가(OPE) 연구를 통합함으로써 강화학습과 인과 추론 분야 간 격차를 메우기.
• OPE 추정기의 통계적 효율성 한계를 분석하고, 비모수적 효율성이 달성 가능한 조건을 명확히 하기.
• 장수명 및 무한수명 설정에서의 과제, 특히 오프라인 정책 학습에서의 수명의 고통과 분포 이탈을 다루기.
• 부분관측 가능 MDP(POMDP) 및 일반적인 인과 방향 비순환 그래프(DAG)에서 OPE의 이론적 성질을 조사하며, 특히 측정되지 않은 혼란 인자가 존재할 경우를 중심으로 분석하기.
• 고차원 행동 공간과 결정론적 정책에서 경로별 미분 가능성의 실패로 인해 기존 OPE 방법의 한계를 해결하기.

제안 방법

• 마르코프 결정 과정(MDP)에서 OPE의 효율적 영향 함수(EIF)와 효율성 한계를 유도하기 위해 반모수적 이론을 적용하여 추정 분산의 이론적 한계를 설정한다.
• 이중적으로 강건한 추정기, 역확률가중치, Q-추정과 같은 최신 OPE 방법들을 검토하고 비교하며, 그들의 통계적 성질과 모델 잘못 설정에 대한 강건성을 강조한다.
• 구조적 가정을 활용하여 모델 기반 및 모델리스 OPE 기법을 POMDP에 적용함으로써 수명의 고통을 완화하고 단일 트레이서티에서의 학습을 가능하게 한다.
• 외부 분포의 행동으로 인한 과도한 추정을 방지하기 위해 오프라인 정책 최적화에서 낙관주의 원칙을 도입하여 보수적이고 신뢰할 수 있는 정책 학습을 보장한다.
• 연속 행동 공간에서 결정론적 정책을 다루기 위해 커널 기반 추정기를 제안하여 이러한 설정에서 경로별 미분 가능성의 부재를 극복한다.
• 도-계산법의 식별 규칙을 활용하여 일반적인 인과 DAG에 OPE를 확장하고, 측정되지 않은 혼란 인자가 존재할 경우 비모수적으로 효율적인 추정기가 존재할 조건을 조사한다.

실험 결과

연구 질문

• RQ1 MDP에서 이완정책 평가의 이론적 효율성 한계는 무엇이며, 어떤 추정기가 이를 달성하는가?
• RQ2 수명의 고통을 극복하고 단일 트레이서티 학습을 가능하게 하기 위해 OPE 방법은 부분관측 가능 MDP(POMDP)에 어떻게 적응시킬 수 있는가?
• RQ3 행동 정책와 목표 정책 간의 차이가 클 경우 오프라인 정책 최적화에서 통계적 과제는 무엇이며, 낙관주의 원리는 과도한 추정을 어떻게 완화할 수 있는가?
• RQ4 평가 정책가 결정론적이거나 기울임을 통한 정의로 정의될 경우, 추정 성질은 어떻게 변화하는가? 특히 연속 행동 공간에서의 경우를 중심으로 분석한다.
• RQ5 측정되지 않은 혼란 인자가 존재하는 일반적인 인과 DAG에서 비모수적으로 효율적인 OPE 추정기를 구성할 수 있는 조건은 무엇인가?

주요 결과

• MDP에서 OPE의 효율성 한계는 반모수적 이론을 통해 유도되었으며, 이중적으로 강건한 추정기는 정규 조건 하에서 이 한계를 달성함을 입증하였다.
• POMDP에서는 구조적 가정을 활용한 모델리스 OPE 방법이 수명의 고통을 피하고 단일 트레이서티에서 정책 가치를 일관되게 추정할 수 있음이 입증됨.
• 연속 행동 공간에서 결정론적 정책의 경우 경로별 미분 가능성은 실패하지만, 부드러움 가정 하에서 커널 기반 추정기는 일관된 추정을 달성할 수 있음.
• 오프라인 정책 최적화에서 낙관주의 원칙은 외부 분포의 행동에 대해 페널티를 주어 과도한 추정을 방지함으로써 일반화와 안정성을 향상시킴.
• 측정되지 않은 혼란 인자가 존재하는 일반적인 인과 DAG에서는 도-계산법을 통해 식별이 가능하지만, 넓은 조건 하에서 비모수적 효율성은 아직 증명되지 않음.
• 다른 진전에도 불구하고, 고차원 또는 복잡한 인과 그래프에서 비모수적으로 효율적인 OPE 추정기는 여전히 열린 문제이며, 특히 측정되지 않은 혼란 인자가 존재할 경우 더욱 그러하다.