[논문 리뷰] C-Learning: Learning to Achieve Goals via Recursive Classification

Benjamin Eysenbach, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2021. 05. 03.

Reinforcement Learning in Robotics참고 문헌 48인용 수 9

한 줄 요약

C-Learning는 미래 상태 예측을 순환 분류 문제로 재구성하는 새로운 목표 조건부 강화 학습 방법을 제안한다. 베이즈의 정리에 기반해 분류기 출력을 미래 상태에 대한 밀도 추정치로 변환함으로써, 이는 비순차적(off-policy)으로 정책의 미래 상태 분포를 예측하고 목표 도달 밀도를 최적화함으로써 기존 방법들과 경쟁 가능한 성능을 달성하며, 목표 조건부 RL에 체계적인 이론적 기반을 제공한다.

ABSTRACT

We study the problem of predicting and controlling the future state distribution of an autonomous agent. This problem, which can be viewed as a reframing of goal-conditioned reinforcement learning (RL), is centered around learning a conditional probability density function over future states. Instead of directly estimating this density function, we indirectly estimate this density function by training a classifier to predict whether an observation comes from the future. Via Bayes' rule, predictions from our classifier can be transformed into predictions over future states. Importantly, an off-policy variant of our algorithm allows us to predict the future state distribution of a new policy, without collecting new experience. This variant allows us to optimize functionals of a policy's future state distribution, such as the density of reaching a particular goal state. While conceptually similar to Q-learning, our work lays a principled foundation for goal-conditioned RL as density estimation, providing justification for goal-conditioned methods used in prior work. This foundation makes hypotheses about Q-learning, including the optimal goal-sampling ratio, which we confirm experimentally. Moreover, our proposed method is competitive with prior goal-conditioned RL methods.

연구 동기 및 목표

• 자율 에이전트의 목표 조건부 강화 학습에서 미래 상태 분포를 예측하고 제어하는 데 도전 과제를 해결하기 위해.
• 분류를 이용한 밀도 추정으로 재구성함으로써 목표 조건부 RL에 체계적인 이론적 기반을 제공하기 위해.
• 새로운 경험 수집 없이도 정책의 미래 상태 분포를 비순차적으로 예측할 수 있도록 하기 위해.
• 특정 목표 상태에 도달하는 밀도와 같은 미래 상태 분포의 기능을 최적화하기 위해.
• 기존 목표 조건부 방법에서의 하이퍼파라미터, 예를 들어 최적의 목표 샘플링 비율을 정당화하고 분석하기 위해.

제안 방법

• 주어진 관측값이 정책의 미래 상태 분포에서 유래되었는지 여부를 판단하는 이진 분류기를 훈련한다.
• 베이즈의 정리에 따라 분류기의 출력을 미래 상태에 대한 밀도 추정치로 변환함으로써 확률적 예측이 가능해진다.
• 오프-폴리시 변형을 활용하여 오프라인 데이터를 사용해 새로운 정책의 미래 상태 분포를 예측할 수 있다.
• 분류기는 반복적으로 훈련되며, 미래 상태는 리play 버퍼나 롤아웃에서 샘플링되어 반복적 개선이 가능하다.
• 미래 상태 분포의 기능, 예를 들어 특정 목표 상태에 도달할 가능성 등을 최적화한다.
• Q-러닝과의 연결을 활용해 최적의 목표 샘플링 전략에 대한 가설을 도출하고 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 목표 조건부 RL에서 미래 상태 분포를 직접 밀도 추정 대신 순환 분류로 효과적으로 모델링할 수 있는가?
• RQ2 제안된 오프-폴리시 변형이 추가 롤아웃 없이도 정책의 미래 상태 분포를 정확하게 예측할 수 있는가?
• RQ3 분류기 기반 접근이 기존 목표 조건부 RL 방법에 대해 체계적인 이론적 기반을 제공할 수 있는가?
• RQ4 목표 조건부 RL에서 최적의 목표 샘플링 비율은 무엇이며, 이는 C-Learning 프레임워크에서 이론적으로 예측한 바와 일치하는가?
• RQ5 C-Learning의 성능은 기존 목표 조건부 RL 방법과 비교해 샘플 효율성과 목표 도달 정확도 측면에서 어떻게 나타나는가?

주요 결과

• C-Learning는 기존 목표 조건부 RL 방법들과 경쟁 가능한 성능을 보이며, 벤치마크 환경에서 강력한 실험적 결과를 도출한다.
• 오프-폴리시 변형은 새로운 정책의 미래 상태 분포를 추가 경험 수집 없이도 성공적으로 예측한다.
• 분류와 베이즈의 정리에 기반한 밀도 추정으로 재구성함으로써, 목표 조건부 RL에 체계적인 이론적 기반을 제공한다.
• 분류기 프레임워크에 기반한 이론적 분석은 최적의 목표 샘플링 비율을 정당화하며, 이는 실험적으로 확인된다.
• 베이즈의 정리에 의해 변환된 분류기의 예측 결과는 정확한 미래 상태에 대한 밀도 추정치를 제공하며, 효과적인 목표 조건부 제어를 가능하게 한다.
• 이 방법은 특정 목표 상태에 도달하는 밀도와 같은 기능을 최적화함으로써 더 세밀한 정책 목표를 지원할 수 있다.