[논문 리뷰] Hyperparameter Selection for Offline Reinforcement Learning

Tom Le Paine, Cosmin Păduraru외 6명|arXiv (Cornell University)|2020. 07. 17.

Reinforcement Learning in Robotics인용 수 30

한 줄 요약

이 논문은 오프라인 RL에서의 오프라인 하이퍼파라미터 선택을 다루며, CRR 유사 알고리즘, Q 값 재추정용 FQE, 그리고 초기 상태 가치(initial-state value)를 순위 통계로 사용할 때 도전적인 작업들에서 정책 순위를 신뢰할 수 있음을 보여준다. 또한 적절한 오프라인 평가 전략이 적용되지 않으면 오프라인 방법이 하이퍼파라미터에 민감하다는 점을 강조한다.

ABSTRACT

Offline reinforcement learning (RL purely from logged data) is an important avenue for deploying RL techniques in real-world scenarios. However, existing hyperparameter selection methods for offline RL break the offline assumption by evaluating policies corresponding to each hyperparameter setting in the environment. This online execution is often infeasible and hence undermines the main aim of offline RL. Therefore, in this work, we focus on extit{offline hyperparameter selection}, i.e. methods for choosing the best policy from a set of many policies trained using different hyperparameters, given only logged data. Through large-scale empirical evaluation we show that: 1) offline RL algorithms are not robust to hyperparameter choices, 2) factors such as the offline RL algorithm and method for estimating Q values can have a big impact on hyperparameter selection, and 3) when we control those factors carefully, we can reliably rank policies across hyperparameter choices, and therefore choose policies which are close to the best policy in the set. Overall, our results present an optimistic view that offline hyperparameter selection is within reach, even in challenging tasks with pixel observations, high dimensional action spaces, and long horizon.

연구 동기 및 목표

• 온라인 평가가 불가능한 환경에서 오프라인 하이퍼파라미터 선택의 필요성을 제시한다.
• 서로 다른 하이퍼파라미터로 학습된 정책의 순위를 위한 통계와 지표를 체계적으로 비교한다.
• 오프라인 RL 알고리즘 선택, Q 추정 방법, 그리고 순위 통계가 정책 순위 정확도에 미치는 영향을 평가한다.
• 고차원 도메인과 픽셀 관찰을 포함한 실용적 오프라인 하이퍼파라미터 선택을 시연한다.

제안 방법

• 세 가지 알고리즘(BC, CRR, D4PG)에서 다양한 하이퍼파라미터로 여러 개의 오프라인 RL 정책을 훈련한다.
• 오프라인 학습에서의 크리틱을 사용하거나 FQE로 크리틱을 재훈련하여 오프라인 평가 통계를 얻는다.
• 크리틱과 데이터셋 D를 바탕으로 hatV(s0)와 Soft OPC 같은 순위 통계를 계산한다.
• 온라인 실제값과의 스피어먼 상관계수, Regret@k, 절대오차를 이용해 순위 품질을 평가한다.
• 오프라인 정책 평가(OPE)와 오프라인 하이퍼파라미터 선택(OHS) 지표 및 결과를 비교한다.
• 온라인 상호작용 없이 오프라인 데이터에서 정책 가치를 추정하는 통계에 근거해 순위 결정을 내린다.

실험 결과

연구 질문

• RQ1 로그된 데이터만으로도 오프라인 하이퍼파라미터 설정의 순위를 신뢰할 수 있게 매길 수 있는가?
• RQ2 오프라인 RL 알고리즘, Q 값 추정기, 그리고 순위 통계의 선택이 순위 품질에 어떤 영향을 미치는가?
• RQ3 도전적인 작업들에서 강건한 오프라인 하이퍼파라미터 선택을 제공하는 방법 조합은 무엇인가?
• RQ4 FQE로 값을 재추정하는 것이 오프라인 하이퍼파라미터 선택의 신뢰성을 높이는가?
• RQ5 고차원 인지 작업에서의 오프라인 하이퍼파라미터 선택의 한계는 무엇인가?

주요 결과

• 알고리즘, Q 추정기, 순위 통계를 제어할 때 오프라인 하이퍼파라미터 선택이 가능하다.
• 행동 정책과의 근사치를 유지하도록 유도하는 알고리즘(CRR 등)이 평가와 순위 결정에 도움을 준다.
• FQE 재추정은 단순 오프라인 추정에 비해 정책 가치의 과대평가를 줄인다.
• OPE의 hatV(s0) 통계는 일반적으로 강한 순위 성능을 제공하며, 특히 FQE와 결합될 때 그렇다. 더 다르게 벗어난 정책일수록(예: tougher tasks의 D4PG) 순위 품질은 저하된다.
• 오프라인 하이퍼파라미터 선택(OHS)은 고차원 행동 및 픽셀 관찰을 포함하는 작업에서 집합 내 최상위에 근접한 정책을 식별할 수 있다.