[논문 리뷰] Training Agents using Upside-Down Reinforcement Learning

Rupesh Kumar Srivastava, Pranav Shyam외 3명|arXiv (Cornell University)|2019. 12. 05.

Reinforcement Learning in Robotics참고 문헌 70인용 수 20

한 줄 요약

이 논문은 '역전된 강화학습(Upside-Down Reinforcement Learning, UDRL)'을 소개한다. UDRL는 보상 최대화나 비정적 목표를 피하고, 'T 단계 내에 보상 R를 달성하라'와 같은 고수준 명령을 따르는 방식으로 에이전트를 훈련시키는 방법이다. 기존의 기대 수익 최대화 대신, 과거 트레이젝터리에서 유추한 후행적 시범 데이터를 활용해 명령-행동 매핑을 학습하는 행동 정책를 훈련시킴으로써, 전통적인 강화학습 구성 요소 없이도 에피소딕 작업에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

We develop Upside-Down Reinforcement Learning (UDRL), a method for learning to act using only supervised learning techniques. Unlike traditional algorithms, UDRL does not use reward prediction or search for an optimal policy. Instead, it trains agents to follow commands such as "obtain so much total reward in so much time." Many of its general principles are outlined in a companion report; the goal of this paper is to develop a practical learning algorithm and show that this conceptually simple perspective on agent training can produce a range of rewarding behaviors for multiple episodic environments. Experiments show that on some tasks UDRL's performance can be surprisingly competitive with, and even exceed that of some traditional baseline algorithms developed over decades of research. Based on these results, we suggest that alternative approaches to expected reward maximization have an important role to play in training useful autonomous agents.

연구 동기 및 목표

• 전통적인 강화학습에서 보상 최대화와 비정적 목표를 피하는 실용적인 대안을 개발하기 위해.
• 과거 트레이젝터리의 후행적 해석을 지도학습 시범 데이터로 활용해 명령을 따르는 에이전트 학습을 가능하게 하기 위해.
• 보상 함수 추정이나 가치 함수 근사 없이도 명령-행동 쌍에 대한 지도학습이 고수익 행동을 생성할 수 있음을 보여주기 위해.
• 명령 기반 학습이 샘플 효율성과 성능 면에서 전통적인 강화학습 기준선을 능가하거나 근사할 수 있는지 탐색하기 위해.

제안 방법

• 에이전트는 명령(예: 'T 단계 내에 총 보상 R를 달성하라')을 행동 함수 B(s, c)를 통해 행동로 매핑하도록 훈련된다. 여기서 c는 명령이다.
• 과거 트레이젝터리는 명령 이행에 성공한 시범 데이터로 후행적으로 해석되어 지도학습 데이터로 활용된다.
• 트레이젝터리의 관측된 보상과 시간 간격을 기반으로 명령을 구성함으로써, 상태-행동 쌍에 대해 후행적 레이블링이 가능해진다.
• 행동 함수는 보상 예측이나 시간 차이 학습 없이 표준 지도학습 목표로 훈련된다.
• 명령 이행 가능성 필터를 사용해 이행 가능성이 높은 명령을 우선순위화함으로써 학습 안정성을 향상시킨다.
• 타겟 네트워크, 가치 네트워크, 보상 형태 조정 등 전통적인 강화학습 구성 요소를 모두 회피하고, 오직 지도학습 기반 함수 근사에 의존한다.

실험 결과

연구 질문

• RQ1 에피소딕 환경에서 보상-행동 쌍에 대한 지도학습만으로도 고수익 행동을 학습할 수 있는가?
• RQ2 다양한 명령(예: 'T 단계 내에 R 보상을 달성하라')을 따르도록 훈련하면 기존의 보상 최대화 방식보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 UDRL이 벤치마크 작업에서 샘플 효율성과 최종 성능 면에서 전통적인 강화학습 기준선을 능가하거나 근사할 수 있는가?
• RQ4 훈련 후 지연 보상과 다양한 명령 사양을 어떻게 처리하는가?
• RQ5 추가 안정화 기법 없이도 행동 함수가 상태와 명령 간에 효과적으로 일반화될 수 있는가?

주요 결과

• UDRL는 여러 에피소딕 환경에서 놀랄 만큼 경쟁 가능한 성능을 달성했으며, 일부 경우에서 전통적인 강화학습 기준선을 능가하거나 근사했다.
• 지연 보상이 존재하는 환경에서도 보상과 시간 간격을 명시한 명령을 성공적으로 따르는 것을 학습했다.
• UDRL로 훈련된 에이전트는 재훈련 없이도 훈련 후 새로운 명령에 대해 행동을 적응시킬 수 있어, 명령 해석의 유연성을 보였다.
• 행동 함수는 상태와 명령 간에 잘 일반화되었으며, 타겟 네트워크나 가치 함수 안정화 기법 없이도 신경망과 같은 강력한 함수 근사기법을 효과적으로 활용할 수 있음을 시사했다.
• 실험 결과, 메타학습을 통해 트레이젝터리를 특정 명령 타겟에 대해 후행적으로 성공으로 간주함으로써 지연 보상을 자연스럽게 처리할 수 있었다.
• 낮은 차원의 행동 공간에서 충분한 확률적 성격을 통해 탐색을 지원함으로써 샘플 효율적인 학습이 가능했다.