[논문 리뷰] OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation

Jongmin Lee, Wonseok Jeon외 3명|arXiv (Cornell University)|2021. 06. 21.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

OptiDICE는 행동 데이터와 최적 정책 간의 정(stationary) 분포 보정을 직접 추정함으로써 분포 이탈 문제를 완화하는 새로운 오프라인 강화학습 알고리즘을 제안한다. 이는 정책 기울기나 가치 과대평가에 의존하지 않으며, 최소한의 하이퍼파라미터 튜닝으로 D4RL 벤치마크에서 최신 기술 수준의 성능을 달성한다. 문제는 폐쇄형 해를 가진 최소-최대 하위문제를 통해 볼록 최적화로 재구성되며, 이로 인해 안정적인 학습이 가능하다.

ABSTRACT

We consider the offline reinforcement learning (RL) setting where the agent aims to optimize the policy solely from the data without further environment interactions. In offline RL, the distributional shift becomes the primary source of difficulty, which arises from the deviation of the target policy being optimized from the behavior policy used for data collection. This typically causes overestimation of action values, which poses severe problems for model-free algorithms that use bootstrapping. To mitigate the problem, prior offline RL algorithms often used sophisticated techniques that encourage underestimation of action values, which introduces an additional set of hyperparameters that need to be tuned properly. In this paper, we present an offline RL algorithm that prevents overestimation in a more principled way. Our algorithm, OptiDICE, directly estimates the stationary distribution corrections of the optimal policy and does not rely on policy-gradients, unlike previous offline RL algorithms. Using an extensive set of benchmark datasets for offline RL, we show that OptiDICE performs competitively with the state-of-the-art methods.

연구 동기 및 목표

• 행동 정책와 목표 정책 간의 분포 이탈 문제를 해결함으로써 가치 과대평가를 방지하는 것.
• 기존 오프라인 RL 알고리즘에서 추가 하이퍼파라미터를 도입하는 복잡한 가치 과소평가 기법에 의존하지 않도록 하는 것.
• Q함수나 정책 기울기 대신 정분포 공간에서 직접 정책을 최적화하는 방법을 개발하는 것.
• 원칙적인 분포 보정 추정을 기반으로 안정적이고 샘플 효율적인 오프라인 정책 최적화를 달성하는 것.

제안 방법

• OptiDICE는 행동 정책의 데이터 분포와 최적 정책의 정분포 사이의 정분포 보정 비율(SDC)을 추정한다.
• 표적 정책에서 샘플링이 필요 없도록 하여 안정적인 학습을 가능하게 하는 최소-최대 최적화 문제로 SDC 추정을 재구성한다.
• 내부 최소-최대 하위문제에 대한 폐쇄형 해를 유도함으로써 전체 문제를 제약 조건이 없는 볼록 최적화 문제로 변환한다.
• 이 알고리즘은 이러한 볼록 최적화 형식을 활용해 Q함수나 부트스트랩 가치 과대평가 없이 정분포 공간에서 직접 정책을 최적화한다.
• 두 가지 정책 추출 방법(최소-최대 및 평균 제곱오차(MSE) 최소화)을 사용하며, 모두 추정된 SDC에 기반한다.
• 하이퍼파라미터 효율성이 뛰어나, 예를 들어 중요도 가중 BC에서의 α와 같이 단일 하이퍼파라미터만 조정이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 정분포 보정 추정은 오프라인 RL에서 가치 과소평가의 원칙적인 대안이 될 수 있는가?
• RQ2 정책 기울기나 Q함수 부트스트랩에 의존하지 않고 정분포 보정에만 기반한 정책 최적화 방법이 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 SDC 추정의 볼록 최적화 형식은 오프라인 RL에서 학습 안정성과 샘플 효율성을 어떻게 향상시키는가?
• RQ4 OptiDICE는 다양한 오프라인 RL 벤치마크, 특히 데이터 품질이 다양할 수 있는 연속 제어 작업에 대해 잘 일반화되는가?
• RQ5 정책 추출 방법의 선택(예: 최소-최대 대비 MSE)이 최종 성능과 강인성에 어떤 영향을 미치는가?

주요 결과

• OptiDICE는 D4RL 벤치마크의 14개 태스크 중 6개에서 최고 성능을 기록했으며, CQL 및 AlgaeDICE와 같은 최신 기술 수준의 방법들을 능가했다.
• halfcheetah-medium-expert 환경에서 OptiDICE는 정규화 점수 91.1 ± 3.7을 기록했으며, CQL(53.5 ± 13.3)과 BEAR(53.4)를 뛰어넘었다.
• walker2d-medium-expert 태스크에서는 OptiDICE가 74.8 ± 9.2점을 기록했고, 동일한 평가 프로토콜을 사용했을 때 CQL(99.7 ± 7.2)보다 뚜렷하게 뛰어난 성능을 보였다.
• 할인 인자 γ에 대해 강건한 성능을 보였으며, γ = 0.999 및 γ = 0.9999에서도 일관된 성능을 유지했고, γ = 1.0일 때도 안정성을 유지했다.
• 정보 투영(I-Proj)을 통한 정책 추출이 중요도 가중 BC(IWBC)보다 더 좋은 결과를 냈으며, 최적의 α 하이퍼파라미터는 태스크에 따라 달라졌고, 그리드 서치를 통해 선택되었다.
• 최소-최대 하위문제에 대한 폐쇄형 해는 안정적인 학습과 기존 방법 대비 하이퍼파라미터 선택에 대한 민감도 감소를 가능하게 했다.