[논문 리뷰] Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison

Tengyang Xie, Nan Jiang|arXiv (Cornell University)|2020. 03. 09.

Reinforcement Learning in Robotics참고 문헌 27인용 수 16

한 줄 요약

이 논문은 최적의 Q-값 함수 $Q^\star$를 근사하기 위한 두 가지 배치 강화학습 알고리즘인 MSBO와 MABO를 소개하고 이론적으로 분석한다. MABO는 명시적 중요도 가중치 보정과 평균 손실 목표를 사용하여 시간에 비례하는 오차 전파를 달성함으로써, 기존 방법의 제곱근 의존성과는 달리 더 나은 분포 이탈 특성화와 제곱 손실 기반 접근보다 더 직접적인 성능 보장을 가능하게 한다.

ABSTRACT

We prove performance guarantees of two algorithms for approximating $Q^\star$ in batch reinforcement learning. Compared to classical iterative methods such as Fitted Q-Iteration---whose performance loss incurs quadratic dependence on horizon---these methods estimate (some forms of) the Bellman error and enjoy linear-in-horizon error propagation, a property established for the first time for algorithms that rely solely on batch data and output stationary policies. One of the algorithms uses a novel and explicit importance-weighting correction to overcome the infamous "double sampling" difficulty in Bellman error estimation, and does not use any squared losses. Our analyses reveal its distinct characteristics and potential advantages compared to classical algorithms.

연구 동기 및 목표

• 기존의 Fitted Q-Iteration와 같은 배치 강화학습 알고리즘에서 시간에 비례하는 제곱근 의존성이 발생하는 문제를 해결하기 위해.
• 전통적인 단계별 정의가 아닌 더 날카운 집중 계수를 사용하여 분포 이탈을 더 날카롭게 특성화하는 배치 강화학습 알고리즘의 이론적 프레임워크를 개발하기 위해.
• 제곱 손실 목표와 실제 성능 지표(기대 수익) 사이의 격차를 줄이기 위해 제곱 손실이 아닌 평균 손실 목표를 사용함으로써 최적화 목표와 성능 목표의 불일치를 감소시키기 위해.
• 특히 중요도 가중치를 활용한 함수 클래스를 통해 표현력을 향상시킴으로써 더 약한 함수 근사 가정 하에서도 증명 가능한 성능 보장을 확립하기 위해.

제안 방법

• Bellman 오차를 추정하기 위해 제곱 손실 대신 순수 평균 손실을 사용하는 새로운 최소최대 알고리즘인 MABO를 도입하여 성능 경계의 간접적 완화를 피한다.
• Bellman 오차 추정에서 이중 샘플링 문제를 해결하기 위해 명시적 중요도 가중치 보정을 적용하여 인터랙티브 롤아웃 없이도 배치 데이터를 사용할 수 있도록 한다.
• 중요도 가중치 $w_{\frac{d_{\pi_Q}}{\mu}}$를 표현하기 위해 보조 함수 클래스 $\mathcal{W}$를 사용하여 평균 Bellman 오차를 정확하게 근사할 수 있도록 보장한다.
• 텔레스코프링 추론을 적용하여 시간에 비례하는 오차 전파를 증명함으로써, 이전의 $\mathcal{O}(1/(1-\gamma)^2)$ 의존성으로 인해 약화된 경계를 초월한다.
• 점유 측도 기반의 집중 계수를 사용하여 성능 보장을 수립함으로써, 기존의 단계별 정의보다 더 날카운 분포 이탈 특성화를 달성한다.
• 저질서 MDP 다이내믹스 하에서, $O(k)$ 개의 원소를 가진 단순한 $\mathcal{W}$ 가 존재하여 근사 오차 $\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$ 을 달성할 수 있음을 보여주며, 통계 복잡도를 증가시키지 않으면서도 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 인터랙티브 환경 접근이나 알려진 전이 모델이 없는 조건에서도 배치 강화학습 알고리즘이 시간에 비례하는 오차 전파를 달성할 수 있는가?
• RQ2 배치 강화학습에서 분포 이탈을 단일이고 더 날카운 집중 계수로 특성화할 수 있는가, 아니면 단계별 조밀도 비율에 의존하는가?
• RQ3 배치 강화학습에서 제곱 손실 대신 평균 손실 목표를 사용하여 최적화 목표와 성능 목표 사이의 격차를 줄일 수 있는가?
• RQ4 명시적 중요도 가중치 보정이 배치 환경 내에서 Bellman 오차 추정의 이중 샘플링 문제를 제거하는가?
• RQ5 통계 복잡도를 증가시키지 않고도 $\mathcal{W}$ 와 같은 구조화된 보조 클래스를 통해 함수 근사기의 표현력을 향상시킬 수 있는가?

주요 결과

• MABO는 시간에 비례하는 오차 전파를 달성하여, Fitted Q-Iteration와 같은 기존 반복적 방법의 $\mathcal{O}(1/(1-\gamma)^2)$ 의존성보다 향상된 성능을 보인다.
• MABO의 성능 손실은 $\frac{2\|Q - Q^\star\|_\infty}{1 - \gamma}$ 로 제한되며, 이는 선형 의존성에 대한 이론적 하한선과 정확히 일치하는 최적의 결과이다.
• MABO는 평균 손실과 명시적 중요도 가중치를 사용하여 제곱 손실에서 평균 손실로의 변환으로 인한 느슨함을 피함으로써 더 직접적이고 날카운 성능 보장을 제공한다.
• MABO에서의 분포 이탈 효과는 단일이고 날카운 집중 계수 $C_{\mathrm{eff},\mathcal{W}}$ 로 특성화되며, 이는 기존의 단계별 정의보다 훨씬 단순하고 효과적이다.
• 저질서 MDP에서는 $\mathcal{W}$ 의 크기가 $O(k+1)$ 이면 충분하여 근사 오차 $\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$ 을 달성할 수 있으며, $w_{\frac{d_{\pi_Q}}{\mu}}$ 가 $\mathrm{sp}(\mathcal{W})$ 에 속하지 않더라도 $\mathcal{Q}$ 의 선형 구조 덕분이다.
• MABO의 통계 수렴 속도에는 중요도 가중치로 인한 $C_{\infty,\mathcal{W}}/n$ 항이 포함되지만, 충분한 데이터가 제공되면 이 항은 실질적으로 무시 가능해진다.