[논문 리뷰] Instabilities of Offline RL with Pre-Trained Neural Representation

Ruosong Wang, Yifan Wu외 2명|arXiv (Cornell University)|2021. 03. 08.

Formal Methods in Verification참고 문헌 47인용 수 6

한 줄 요약

이 논문은 사전 훈련된 신경망 표현을 사용한 오프라인 강화학습(Reinforcement Learning, RL)의 안정성을 조사하며, 강력한 특징 조차도 중간 정도의 분포 이탈 상황에서 심각한 오차 증폭이 발생함을 보여준다. 강력한 표현을 갖추고도 Fitted-Q Iteration (FQI)는 최소한의 분포 이탈을 초월해 일반화하지 못함으로써, 표본 효율적인 오프라인 RL은 지도학습에 충분한 표현 조건보다 더 강력한 표현 조건이 필요함을 시사한다.

ABSTRACT

In offline reinforcement learning (RL), we seek to utilize offline data to evaluate (or learn) policies in scenarios where the data are collected from a distribution that substantially differs from that of the target policy to be evaluated. Recent theoretical advances have shown that such sample-efficient offline RL is indeed possible provided certain strong representational conditions hold, else there are lower bounds exhibiting exponential error amplification (in the problem horizon) unless the data collection distribution has only a mild distribution shift relative to the target policy. This work studies these issues from an empirical perspective to gauge how stable offline RL methods are. In particular, our methodology explores these ideas when using features from pre-trained neural networks, in the hope that these representations are powerful enough to permit sample efficient offline RL. Through extensive experiments on a range of tasks, we see that substantial error amplification does occur even when using such pre-trained representations (trained on the same task itself); we find offline RL is stable only under extremely mild distribution shift. The implications of these results, both from a theoretical and an empirical perspective, are that successful offline RL (where we seek to go beyond the low distribution shift regime) requires substantially stronger conditions beyond those which suffice for successful supervised learning.

연구 동기 및 목표

• 사전 훈련된 신경망 표현을 사용할 때 오프라인 RL 방법의 안정성을 경험적으로 평가하는 것.
• 사전 훈련을 통해 확보한 강력한 표현이 분포 이탈 상황에서 오차 증폭을 완화할 수 있는지 조사하는 것.
• 데이터 분포가 목표 정책과 크게 다를 경우 오프라인 RL의 실용적 한계를 평가하는 것.
• 동일한 사전 훈련된 특징을 사용해 다양한 데이터 수집 정책(랜덤, 성능이 낮은 정책) 간 성능을 비교하는 것.
• 정규화 및 데이터 혼합 전략이 오프라인 RL의 안정성 향상에 기여하는지 여부를 판단하는 것.

제안 방법

• 저자들은 여섯 개의 OpenAI Gym 환경에서 사전 훈련된 신경망의 특징를 사용한 함수 근사와 함께 Fitted-Q Iteration (FQI)를 사용한다.
• 오프라인 데이터셋은 목표 정책의 궤적과 랜덤 또는 성능이 낮은 정책의 궤적을 조합하여 구성되며, 분포 이탈을 시뮬레이션한다.
• Q-값 추정을 위해 정규화된 최소 제곱 회귀를 사용하며, FQI 업데이트 식은 $\hat{\theta} = (\Phi^T \Phi + \lambda I)^{-1} \Phi^T r$ 로 표현된다.
• 성능 평가에는 다섯 개의 랜덤 시드에 대해 평균 내린 가치 함수 추정의 평균 제곱오차(MSE)를 사용한다.
• 실험에서는 랜덤 정책 궤적의 비율과 정규화 하이퍼파rameter $\lambda$ 를 변화시켜 안정성에 미치는 영향을 분석한다.
• 추가 아블레이션에서는 일반화 행동을 비교하기 위해 무작위 푸리에 특징을 베이스라인으로 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 신경망 표현은 중간 정도의 분포 이탈 하에서도 오프라인 RL을 안정화할 수 있는가?
• RQ2 데이터 분포가 목표 정책에서 벗어날수록 FQI의 성능은 어떻게 악화되는가?
• RQ3 랜덤 정책 궤적의 비율을 늘일수록 오프라인 RL의 일반화 성능은 향상되는가, 악화되는가?
• RQ4 정규화가 사전 훈련된 특징를 사용한 오프라인 RL에서 오차 증폭을 어느 정도 완화하는가?
• RQ5 분포 이탈 하에서 사전 훈련된 특징는 무작위 푸리에 특징보다 안정성 면에서 어떻게 비교되는가?

주요 결과

• 사전 훈련된 신경망 표현이 있음에도 불구하고, 데이터 분포가 목표 정책에서 벗어나면 FQI는 심각한 오차 증폭을 보이며, 중간 정도의 분포 이탈 상황에서 안정성이 떨어짐을 시사한다.
• Ant-v2에서 랜덤 궤적을 2배로 추가했을 때 MSE는 베이스라인 44.03 ± 8.98에서 72.80 ± 16.87로 향상되었지만, 여전히 매우 불안정했다.
• Hopper-v2에서는 랜덤 궤적을 2배로 추가했을 때 MSE가 2.18 ± 1.14에서 16.86 ± 2.84로 증가하여 분포 이탈 상황에서 강한 오차 증가를 보였다.
• 랜덤 궤적의 추가는 일반화 성능을 일관되게 악화시켰으며, 이는 단지 데이터 다양성만으로는 오프라인 RL을 안정화하지 못한다는 것을 시사한다.
• 정규화를 통해 $\lambda$ 를 적용했지만, 특히 Ant-v2와 Walker2d-v2와 같은 고차원 환경에서는 메서드 안정화에 한계가 있었다.
• 사전 훈련된 특징를 사용한 LSTD 역시 유사한 불안정성 패턴을 보였으며, Ant-v2에서 MSE는 44.03 ± 8.98에서 72.80 ± 16.87로 증가하여 메서드 간 동일한 경향을 확인했다.