[논문 리뷰] Instrumental Variable Value Iteration for Causal Offline Reinforcement Learning

Luofeng Liao, Zuyue Fu외 4명|arXiv (Cornell University)|2021. 02. 19.

Reinforcement Learning in Robotics참고 문헌 57인용 수 8

한 줄 요약

이 논문은 관측되지 않은 혼란 변수가 존재하는 상황에서 원인적 전이 동역학을 식별하는 데에 도구변수(IVs)를 활용하는 증명 가능하게 효율적인 오프라인 강화학습 알고리즘인 IVVI를 제안한다. 추가로 관측되지 않은 혼란 변수에 대한 가정 하에 조건부 모멘트 제약 조건(CMR)을 설정하고, 이 제약 조건을 원-이중 최적화 방법을 통해 해결함으로써, 표본 복잡도 $O(\mu_{\text{IV}}^{-4}\mu_B^{-2.5}H^4d_x\epsilon^{-2})$ 로 $\epsilon$-최적 정책을 달성한다. 이는 IV를 활용한 오프라인 강화학습에 대해 처음으로 이러한 결과를 도출한 것이다.

ABSTRACT

In offline reinforcement learning (RL) an optimal policy is learned solely from a priori collected observational data. However, in observational data, actions are often confounded by unobserved variables. Instrumental variables (IVs), in the context of RL, are the variables whose influence on the state variables is all mediated by the action. When a valid instrument is present, we can recover the confounded transition dynamics through observational data. We study a confounded Markov decision process where the transition dynamics admit an additive nonlinear functional form. Using IVs, we derive a conditional moment restriction through which we can identify transition dynamics based on observational data. We propose a provably efficient IV-aided Value Iteration (IVVI) algorithm based on a primal-dual reformulation of the conditional moment restriction. To our knowledge, this is the first provably efficient algorithm for instrument-aided offline RL.

연구 동기 및 목표

• 관측된 관찰 데이터에서 행동이 관측되지 않은 변수에 의해 혼란스러운 상황에서 최적 정책을 학습하는 데에 도전한다.
• 유효한 도구변수를 사용하여 관측되지 않은 혼란 변수가 존재하는 상황에서 원인적 전이 동역학을 식별하는 방법을 개발한다.
• 혼란 변수가 존재하는 데이터에서 도구변수를 활용한 증명 가능하게 효율적인 오프라인 강화학습 알고리즘을 제안한다.
• 도구변수를 활용한 오프라인 강화학습 알고리즘에 대해 처음으로 표본 복잡도 한계를 설정한다.
• 실험을 수행하기 어려하거나 윤리적으로 문제가 되는 분야, 예를 들어 헬스케어 분야에서 안전하고 데이터 기반의 정책 학습을 가능하게 한다.

제안 방법

• 관측되지 않은 혼란 변수가 존재하는 상황에서 순차적 의사결정을 모델링하기 위해 도구변수를 통합한 혼란이 있는 마르코프 결정과정(CMDP-IV)을 설정한다.
• 유효한 도구변수를 사용하여 관측 데이터에서 진정한 전이 동역학을 점식별할 수 있도록 하는 조건부 모멘트 제약 조건(CMR)을 유도한다.
• 통계적 효율성과 계산적 효율성을 동시에 확보하기 위해 CMR를 원-이중 최적화 문제로 재구성한다.
• 스토하스틱 그래디언트 스텝을 사용하여 가치 함수와 이중 변수를 반복적으로 갱신하는 IV 보조가치반복(IVVI) 알고리즘을 제안한다.
• 전이 동역학을 추가적인 관측되지 않은 혼란 변수 가정 하에 도구변수 기반 모멘트 조건을 통해 추정하는 모델 기반 접근법을 활용한다.
• 도구변수와 함수 근사 간의 호환성을 보장하기 위해 이중 특징 공간을 사용하며, 이는 $\mu_B$로 측정되며, 이는 이중 특징 공분산 행렬의 최소 고유값이다.

실험 결과

연구 질문

• RQ1 관측 데이터와 유효한 도구변수만을 사용하여 혼란이 있는 MDP에서 진정한 전이 동역학을 식별할 수 있는가?
• RQ2 관측되지 않은 혼란 변수를 완화하기 위해 도구변수를 활용하는 증명 가능하게 효율적인 오프라인 강화학습 알고리즘을 설계할 수 있는가?
• RQ3 관측되지 않은 혼란 변수가 존재하는 상황에서 도구변수를 사용하여 $\epsilon$-최적 정책을 복구하기 위해 필요한 표본 복잡도는 얼마인가?
• RQ4 도구변수의 강도($\mu_{\text{IV}}$)와 이중 특징 공간의 호환성($\mu_B$)이 학습 효율성에 어떻게 영향을 미치는가?
• RQ5 원-이중 최적화 프레임워크는 도구변수 기반 식별에서 발생하는 조건부 모멘트 제약 조건을 효과적으로 해결하는 데에 사용될 수 있는가?

주요 결과

• IVVI 알고리즘은 표본 복잡도 $O(\mu_{\text{IV}}^{-4}\mu_B^{-2.5}H^4d_x\epsilon^{-2})$ 로 $\epsilon$-최적 정책을 달성하며, 이는 도구변수를 활용한 오프라인 강화학습에 대해 처음으로 이러한 복잡도 한계를 확보한 것이다.
• 추가적인 관측되지 않은 혼란 변수 가정 하에 유도된 조건부 모멘트 제약 조건(CMR)은 관측 데이터에서 진정한 전이 동역학을 점식별할 수 있도록 한다.
• CMR를 원-이중 형태로 재구성함으로써 추정 과정에서 통계적 및 계산적 효율성이 동시에 보장된다.
• 부드러움과 목적 함수의 강凸성 등의 온건한 정규성 조건 하에 알고리즘의 수렴이 보장된다.
• 표본 복잡도는 도구변수의 강도($\mu_{\text{IV}}$)와 이중 특징 공간의 호환성($\mu_B$)에 따라 유리하게 변화하며, 약한 도구변수와 열악한 특징 정렬에 대해서도 강건함을 시사한다.
• 추정 오차와 가치 함수 갱신의 수렴 속도에 대한 이론적 보장을 포함하여, 실증적 검증이 이론적 보장에 의해 뒷받침된다.