[논문 리뷰] Reinforcement Learning Upside Down: Don't Predict Rewards -- Just Map Them to Actions

Juergen Schmidhuber|arXiv (Cornell University)|2019. 12. 05.

Reinforcement Learning in Robotics인용 수 23

한 줄 요약

이 논문은 보상 예측을 생략하고 과거 경험을 바탕으로 직접 보상과 시간 간격을 행동으로 매핑하는 새로운 접근법인 업사이드다운 강화학습(UDRL)을 소개한다. 자가 생성된 명령 입력(예: 'Y 시간 이내에 X 보상을 달성하라')을 기반으로 다양한 기능을 가진 컨트롤러(예: RNN)를 미분 가능하게 훈련시켜, 전통적인 방법에 비해 도전적인 강화학습 과제에서 뛰어난 성능을 달성한다. 이는 초기 구현 단계에서도 성립한다.

ABSTRACT

We transform reinforcement learning (RL) into a form of supervised learning (SL) by turning traditional RL on its head, calling this Upside Down RL (UDRL). Standard RL predicts rewards, while UDRL instead uses rewards as task-defining inputs, together with representations of time horizons and other computable functions of historic and desired future data. UDRL learns to interpret these input observations as commands, mapping them to actions (or action probabilities) through SL on past (possibly accidental) experience. UDRL generalizes to achieve high rewards or other goals, through input commands such as: get lots of reward within at most so much time! A separate paper [63] on first experiments with UDRL shows that even a pilot version of UDRL can outperform traditional baseline algorithms on certain challenging RL problems. We also also conceptually simplify an approach [60] for teaching a robot to imitate humans. First videotape humans imitating the robot's current behaviors, then let the robot learn through SL to map the videos (as input commands) to these behaviors, then let it generalize and imitate videos of humans executing previously unknown behavior. This Imitate-Imitator concept may actually explain why biological evolution has resulted in parents who imitate the babbling of their babies.

연구 동기 및 목표

• 기존 강화학습의 한계를 해결하기 위해 향후 보상을 예측하고 복잡한 최적화를 통해 이를 행동으로 변환하는 데 의존하는 방식을 개선한다.
• 모든 새로운 경험을 즉각적인 정책 개선을 위한 지도학습 명령어로 변환함으로써 종신적, 지속적인 학습을 가능하게 한다.
• 보상 예측 네트워크와 가치 함수 추정의 필요성을 제거함으로써 강화학습을 단순화한다.
• 과거 경험에서 파생된 다양한 명령어 입력을 해석할 수 있는 단일 정책 네트워크를 훈련시켜 새로운 과제로의 일반화를 가능하게 한다.
• 영상 시연를 통해 인간 행동을 모방하는 데에 활용 가능한 재귀적 '모방-모방자' 프레임워크를 탐색한다.

제안 방법

• UDRL은 목적 누적 보상과 시간 간격을 미분 가능한 컨트롤러(예: RNN)의 입력 명령어로 간주하고, 이를 행동 확률로 매핑한다.
• 모든 과거 시간 간격(time1 < time2)에서 유도된 후행적 명령-행동 쌍을 기반으로 단일 종신 시험에서 컨트롤러를 경사 하강법으로 훈련한다.
• 명령어 입력에 기반한 조건부 행동 분포를 학습함으로써 일반화 능력을 확보하고, '더 많은 보상을 더 짧은 시간 안에 달성하라'와 같은 새로운 목표로의 외삽이 가능해진다.
• 딥 네트워크의 일반화 능력을 활용해 성공적인 행동 패턴을 명시적 명령어 입력 없이도 압축된 정책 네트워크로 압축한다.
• 이 프레임워크는 결정론적 및 확률론적 환경 모두를 지원하며, RNN의 초기 명령어 메모리 기능을 통해 부분 관측 환경으로도 확장 가능하다.
• 지도학습 사전 훈련과 통합 가능하며, 경험 재생 및 관련 시퀀스에 대한 선택적 훈련과 같은 기법을 활용해 계산 비용을 줄일 수 있다.

실험 결과

연구 질문

• RQ1 강화학습을 보상 예측을 생략하고 보상에서 직접 행동으로 매핑하는 방식으로 재정의할 수 있는가?
• RQ2 단일 종신 시험에서 충분한 경험을 확보해 지도학습 명령어 입력 기반으로 일반 목적 정책 네트워크를 훈련시킬 수 있는가?
• RQ3 딥 네트워크의 일반화 능력이 정책이 훈련 중에 직접적으로 볼 수 없었던 새로운 과제를 해결하는 데 어떻게 기여하는가?
• RQ4 '모방-모방자' 프레임워크가 부모가 유아의 발성 소리를 모방하는 생물학적 메커니즘을 설명할 수 있는가?
• RQ5 후행적 명령어 생성 방식과 기존의 가치 기반 또는 정책 기반 방법 간의 계산 및 통계적 트레이드오프는 무엇인가?

주요 결과

• 초기 버전의 UDRL은 별도의 실험 논문 [63] 에서 보고된 바와 같이 일부 도전적인 강화학습 문제에서 기존 강화학습 기준선을 능가한다.
• 모든 새로운 관측치가 즉각적으로 지도학습 미세조정을 통해 정책 개선에 활용되는 연속적인 온라인 학습을 가능하게 한다.
• 훈련 중에 명시적으로 볼 수 없었던 '더 많은 보상을 더 짧은 시간 안에 달성하라'와 같은 새로운 명령어 입력을 해석함으로써 효과적으로 새로운 과제로의 일반화를 달성한다.
• 영상 시연를 기반으로 RNN을 훈련시켜 시각 입력에서 해당 행동으로 매핑함으로써 인간 행동을 성공적으로 모방하며, 이는 이전에 볼 수 없었던 행동으로의 일반화를 가능하게 한다.
• 직접 명령어에서 행동 매핑을 학습함으로써 기존 강화학습에서 흔히 발생하는 보상 예측 오류와 가치 함수 추정 편향 문제를 피한다.
• 실험 결과, 제한된 경험 조건에서도 복잡한 행동을 학습하고 명령어 기반 일반화를 통해 탐색 전략을 향상시킬 수 있음을 입증했다.