[논문 리뷰] On the Role of Discount Factor in Offline Reinforcement Learning

Hao Hu, Yiqin Yang외 2명|arXiv (Cornell University)|2022. 06. 07.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 오프라인 강화학습에서 할인 인자 γ의 双중 역할을 조사하며, 최적성과 샘플 효율성 사이의 균형을 조절하는 정규화 조절자이자 분포 이탈 상황에서의 강건성을 향상시키는 모델 기반 낙관주의의 한 형태로 γ를 규명한다. 표본 MDP 및 D4RL 벤치마크에서의 실험 결과는 γ가 데이터 제도 전반에서 성능을 크게 향상시키며, 특히 저데이터 및 고커버리지 설정에서 두드러진다.

ABSTRACT

Offline reinforcement learning (RL) enables effective learning from previously collected data without exploration, which shows great promise in real-world applications when exploration is expensive or even infeasible. The discount factor, $γ$, plays a vital role in improving online RL sample efficiency and estimation accuracy, but the role of the discount factor in offline RL is not well explored. This paper examines two distinct effects of $γ$ in offline RL with theoretical analysis, namely the regularization effect and the pessimism effect. On the one hand, $γ$ is a regulator to trade-off optimality with sample efficiency upon existing offline techniques. On the other hand, lower guidance $γ$ can also be seen as a way of pessimism where we optimize the policy's performance in the worst possible models. We empirically verify the above theoretical observation with tabular MDPs and standard D4RL tasks. The results show that the discount factor plays an essential role in the performance of offline RL algorithms, both under small data regimes upon existing offline methods and in large data regimes without other conservative methods.

연구 동기 및 목표

• 오프라인 강화학습에서 미처 탐구되지 않은 할인 인자 γ의 역할을 이해하고, 특히 보수성 및 일반화에 미치는 영향을 분석한다.
• γ가 오프라인 RL 알고리즘에서 최적성과 샘플 효율성 사이의 성능 트레이드오프에 어떻게 영향을 미치는지 분석한다.
• 낮은 γ가 명시적 불확실성 정규화와 유사한 자연스러운 형태의 낙관주의로 간주될 수 있는지 조사한다.
• 다양한 데이터 제도 하에서 표본 MDP 및 표준 D4RL 벤치마크를 통해 이론적 통찰을 실증적으로 검증한다.
• 기타 보수적 방법이 없는 경우 γ를 선택하는 데 실용적 지침을 제공한다.

제안 방법

• 선형 MDP에서의 γ 영향에 대한 이론적 분석을 통해 일반화 및 강건성에 미치는 영향을 정량화하는 성능 한계를 유도한다.
• 두 가지 구분되는 역할 식별: (1) 기존 보수적 방법에서의 조절자로서 최적성과 샘플 효율성 간의 트레이드오프 조절; (2) 최악의 모델 최대화를 통한 모델 기반 낙관주의의 형태.
• γ, 데이터셋 크기, 커버리지 계수에 의존하는 성능 한계 유도. 이는 γ가 오차율에 미치는 영향을 보여준다.
• 이론적 통찰을 정규화 및 낙관주의 효과에 대해 검증하기 위해 표본 MDP에서의 실증 평가.
• 다양한 데이터 품질과 커버리지 수준에서 D4RL 벤치마크 작업(예: Walker2D, Hopper, HalfCheetah)을 평가하여 현실 조건에서 γ의 영향을 테스트한다.
• 노이즈가 가미된 데이터셋을 사용해 강건성 평가. 다양한 γ 값에 대해 에피소드 수익 및 로그 Q-값을 측정한다.

실험 결과

연구 질문

• RQ1 할인 인자 γ는 오프라인 RL에서 최적성과 샘플 효율성 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ2 낮은 γ는 모델 기반 오프라인 RL에서 낙관주의의 한 형태로 해석될 수 있으며, 명시적 불확실성 정규화와 비교해 어떻게 다를까?
• RQ3 추가 보수적 정규화 없이 저데이터 대비 고데이터 제도에서 γ의 정량적 영향은 무엇인가?
• RQ4 γ는 오프라인 RL에서 데이터셋 커버리지 및 분포 이탈과 어떻게 상호작용하는가?
• RQ5 γ는 오프라인 RL 알고리즘에서 다른 보수적 방법의 대체로 얼마나 기능하는가?

주요 결과

• 할인 인자 γ는 오프라인 RL 성능에서 결정적인 역할을 하며, 추가 보수적 정규화 없이도 성능을 크게 향상시킨다.
• 저데이터 제도에서는 낮은 γ가 정규화 역할을 하여 샘플 효율성을 향상시키고 제한된 데이터에 대한 과적합을 줄인다.
• 좋은 커버리지가 확보된 고데이터 제도에서는 낮은 γ가 모델 기반 낙관주의의 형태로 작용하여 최악의 모델 최적화를 통해 강건성을 향상시킨다.
• D4RL 작업에서의 실증 결과는 최적의 γ 값이 데이터 품질과 커버리지에 따라 달라지며, 분포 이탈 상황에서 낮은 γ가 성능 향상에 기여함을 보여준다.
• 이론적 한계는 γ가 일반화 오차에 영향을 미친다는 것을 확인하며, 낮은 γ가 고불확실성 또는 저커버리지 설정에서 오차를 감소시킴을 보여준다.
• 본 연구는 γ가 단순한 하이퍼파rameter가 아니라 보수적 오프라인 RL의 핵심 구성 요소이며, 명시적 정규화 기법을 대체하거나 보완할 수 있음을 입증한다.