[논문 리뷰] Reward-Conditioned Policies

Aviral Kumar, Xue Bin Peng외 1명|arXiv (Cornell University)|2019. 12. 31.

Reinforcement Learning in Robotics참고 문헌 41인용 수 16

한 줄 요약

이 논문은 보상 조건화 정책(Reward-Conditioned Policies, RCP)을 제안한다. RCP는 목표 보상에 조건을 붙여 하나의 정책이 여러 보상 값으로 일반화되도록 훈련하는 강화학습 방법이다. 하위최적의 경로를 특정 보상에 맞추기 위한 최적의 지도학습 지도로 간주함으로써, RCP는 수집된 데이터를 어떤 것도 지도학습으로 활용할 수 있게 하여, 최신 기법들보다는 샘플 효율성이 낮지만 벤치마크 환경에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

Reinforcement learning offers the promise of automating the acquisition of complex behavioral skills. However, compared to commonly used and well-understood supervised learning methods, reinforcement learning algorithms can be brittle, difficult to use and tune, and sensitive to seemingly innocuous implementation decisions. In contrast, imitation learning utilizes standard and well-understood supervised learning methods, but requires near-optimal expert data. Can we learn effective policies via supervised learning without demonstrations? The main idea that we explore in this work is that non-expert trajectories collected from sub-optimal policies can be viewed as optimal supervision, not for maximizing the reward, but for matching the reward of the given trajectory. By then conditioning the policy on the numerical value of the reward, we can obtain a policy that generalizes to larger returns. We show how such an approach can be derived as a principled method for policy search, discuss several variants, and compare the method experimentally to a variety of current reinforcement learning methods on standard benchmarks.

연구 동기 및 목표

• 딥 강화학습의 취약성과 하이퍼파라미터 민감성 문제를 표준 지도학습 기법을 활용하여 해결하고자 한다.
• 전문가의 지시 없이도 하위최적의 경로를 특정 보상 값에 맞추기 위한 최적의 지도학습 지도로 재사용하여 효과적인 정책 학습을 가능하게 하고자 한다.
• 하나의 정책이 목표 보상에 조건을 붙여 다양한 보상 수준으로 일반화할 수 있도록 체계적이고 확장 가능한 방법을 개발하고자 한다.
• 기존의 오프폴리시 강화학습 알고리즘들과 비교하여 표준 강화학습 벤치마크에서 성능과 견고성에 대한 평가를 수행하고자 한다.

제안 방법

• 핵심 방법은 목표 수익 Z에 조건을 붙인 정책 πθ(a|s, Z)를 훈련하는 것으로, 여기서 Z는 원하는 수익 또는 이득 값이다.
• 목표 Z 값에 도달하기 위한 정책에 대해 하위최적의 경로를 최적의 지도학습 지도로 간주함으로써, 어떤 수집된 데이터라도 지도학습으로 활용할 수 있다.
• 상태와 목표 값 Z 간의 특징 통합을 위해 상태와 Z를 연결하거나 곱하기 방식의 상호작용을 사용하는 보상 조건화 정책 네트워크를 사용한다.
• 재플레이 버퍼는 롤아웃에서 얻은 (s, Z, a) 튜플을 저장하며, 정책은 이러한 튜플을 기반으로 표준 지도학습 방식으로 훈련된다.
• 훈련 중에 다양한 수익 수준의 커버리지 확보를 위해 목표 값 Z는 학습된 분포 pπ*(Z)에서 샘플링된다.
• 두 가지 변형을 탐색한다: RCP-R(수익에 조건을 붙인 경우)와 RCP-A(이득에 조건을 붙인 경우)이며, 아키텍처 분석 결과 곱하기 상호작용 방식이 연결 방식보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 하위최적의 경로를 특정 수익 수준을 향한 정책 학습에 효과적으로 최적의 지도학습 지도로 활용할 수 있는가?
• RQ2 목표 수익 또는 이득에 따라 정책을 조건화하면 오프폴리시 강화학습 환경에서 일반화와 성능 향상에 어떻게 기여하는가?
• RQ3 연결 vs. 곱하기 상호작용 등의 아키텍처 선택이 보상 조건화 정책의 성능에 가장 크게 영향을 주는가?
• RQ4 훈련 중에 볼 수 없었던 더 높은 수익 수준으로 보상 조건화 정책이 얼마나 잘 일반화되는가?
• RQ5 SAC나 AWR와 같은 최신 오프폴리시 강화학습 알고리즘들과 비교했을 때 샘플 효율성과 최종 성능에서 이 방법은 어떠한가?

주요 결과

• RCP 방법은 훈련 중에 볼 수 없었던 더 높은 수익 수준으로 일반화하는 정책을 성공적으로 학습하여, 보상 조건화가 일반화에 효과적임을 입증한다.
• 곱하기 상호작용 아키텍처는 환경 전반에서 연결 아키텍처보다 일관되게 뛰어난 성능을 보였으며, HalfCheetah-v2와 Hopper-v2에서 더 높은 샘플 효율성과 최종 성능을 달성했다.
• RCP 변형들은 목표 Z 값과 관측된 수익 간의 동시 발생 빈도를 보여주는 히트맵을 통해 목표 Z 값에 매우 가까운 수익 분포를 달성했다.
• 더 큰 재플레이 버퍼에서 성능이 떨어지는 것으로 나타나, 데이터 효율성 문제와 장기 버퍼에서의 분포 이탈 가능성이 존재함을 시사한다.
• 강력한 일반화 성능에도 불구하고, SAC와 같은 최신 기법들에 비해 최종 성능과 샘플 효율성에서 여전히 뒤처지며 향후 개선 여지가 있음을 보여준다.
• 단순성과 잘 알려진 지도학습에 의존한다는 점에서 실용적 응용 가능성은 높지만, 탐색과 일반화가 여전히 핵심 과제로 남아 있다.