[논문 리뷰] Goal-Conditioned Reinforcement Learning: Problems and Solutions

Minghuan Liu, Menghui Zhu외 1명|arXiv (Cornell University)|2022. 01. 20.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 종합적 서베이는 목표 조건부 강화 학습(GCRL)에 대한 포괄적인 분석을 제공하며, 희소 보상과 샘플 효율성 등의 과제를 목표 표현, 재표기 기법, 정책 최적화를 통해 해결한다. 핵심 솔루션으로는 희망 경험 재현(HER), 생성 모델을 통한 목표 재표기, 사전 지식 기반 재표기 등을 소개하여 다양한 목표에 대해 일반화된 정책을 개선된 샘플 효율성과 일반화 능력으로 학습할 수 있도록 한다.

ABSTRACT

Goal-conditioned reinforcement learning (GCRL), related to a set of complex RL problems, trains an agent to achieve different goals under particular scenarios. Compared to the standard RL solutions that learn a policy solely depending on the states or observations, GCRL additionally requires the agent to make decisions according to different goals. In this survey, we provide a comprehensive overview of the challenges and algorithms for GCRL. Firstly, we answer what the basic problems are studied in this field. Then, we explain how goals are represented and present how existing solutions are designed from different points of view. Finally, we make the conclusion and discuss potential future prospects that recent researches focus on.

연구 동기 및 목표

• 다중 목표 학습에서 희소 보상과 샘플 비효율성 등의 핵심 과제를 체계적으로 분석하기 위해 목표 조건부 강화 학습(GCRL)의 핵심 과제를 분석한다.
• 작업 사양에 따라 상태공간 목표, 언어, 보상, 명령어, 내재된 기술 등의 다양한 목표 표현 방식을 분류하고 비교한다.
• 학습 단계별로 기존 GCRL 솔루션을 분류하고 조사한다: 최적화, 보조 목표 생성, 목표 재표기.
• 내재된 기술 학습, 오프라인 RL, 대규모 미리 훈련된 의사결정 모델과 같은 새로운 연구 방향을 식별하고 논의한다. 이는 다양한 작업 간 일반화를 위한 잠재력을 지닌다.
• 재현 가능성과 향후 GCRL 연구를 지원하기 위해 알고리즘과 벤치마크 환경의 정교한 컬렉션을 제공한다.

제안 방법

• 표준 MDP에 목표 공간 𝒢와 목표 매핑 ϕ: 𝒮 → 𝒢를 추가하여 목표 조건부 결정을 가능하게 하는 목표 보강 MDP(GA-MDP)로 GCRL를 수식화한다.
• 핵심 기법으로 희망 경험 재현(HER)을 도입한다: 시연된 궤적에서 달성된 목표를 재표기하여 추가적인 학습 신호를 생성함으로써 샘플 효율성을 향상시킨다.
• 기존 데이터 분포를 초월하여 다양한 고성과 목표를 생성할 수 있는 조건부 생성 RNN을 활용한 기반 학습 기반 재표기 전략과 같은 고급 재표기 기법을 제안한다.
• 학습된 동역학 모델을 사용하여 가상 궤적을 생성하고 새로운 실현 가능한 목표를 계획하는 사전 지식 기반 재표기 기법을 도입함으로써 재표기 과정에서의 분포 편향을 감소시킨다.
• 추론 시 목표 간 일반화를 가능하게 하기 위해 목표 보강 가치 및 정책 네트워크(예: Q(s,a,g) 또는 π(s,g))를 활용한다.
• 솔루션을 세 단계로 분류한다: 최적화(정책/가치 함수 설계), 보조 목표 생성(커리큘럼 학습), 재표기(데이터 효율성 향상).

실험 결과

연구 질문

• RQ1 단일 정책 내에서 다수의 목표를 학습할 수 있도록 목표 조건부 RL을 어떻게 수식화할 수 있는가?
• RQ2 희소 보상, 샘플 효율성, 다양한 목표 간 일반화 등의 측면에서 GCRL의 주요 과제는 무엇인가?
• RQ3 상태공간 목표, 언어, 내재 보상 등의 다양한 목표 표현 방식은 학습 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 GCRL에서 데이터 효율성을 향상시키기 위해 가장 효과적인 재표기 전략은 무엇이며, 실무에서 어떻게 비교 가능한가?
• RQ5 오프라인 학습이나 사전 훈련된 의사결정 모델과 같은 미래의 방향성 중에서 확장 가능하고 일반화 가능한 GCRL 시스템을 위한 잠재력이 가장 큰 것은 무엇인가?

주요 결과

• 희망 경험 재현(HER)은 궤적에서 달성된 목표를 재표기하여 샘플 효율성을 크게 향상시키며, 실패한 에피소드를 유용한 학습 데이터로 전환한다.
• 조건부 생성 RNN을 활용한 기반 학습 기반 목표 재표기 기법은 이력 데이터 분포를 초월하여 다양한 고성과 목표를 생성함으로써 정책의 일반화 능력을 향상시킨다.
• 동역학 모델을 활용한 사전 지식 기반 재표기 기법은 가상 궤적을 생성하고 새로운 실현 가능한 목표를 도출함으로써 정적 재표기 대비 편향을 감소시키고 정교함을 향상시킨다.
• 이러한 기법을 통해 훈련된 목표 조건부 정책는 예측되지 않은 목표 간에도 일반화되며, 희소 보상 환경에서도 높은 성공률을 달성한다.
• GCRL을 오프라인 RL과 통합함으로써 정적 데이터셋에서의 학습이 가능해져 온라인 상호작용 비용을 감소시키고 실세계 응용에의 구현을 가능하게 한다.
• 내재된 기술 학습과 대규모 사전 훈련된 의사결정 모델과 같은 미래의 전망은 에이전트가 자율적으로 다양한 작업을 탐색하고 숙달할 수 있도록 하는 데 강력한 잠재력을 지닌다.