[논문 리뷰] Learning One Representation to Optimize All Rewards

Abdelaziz Touati, Yann Ollivier|arXiv (Cornell University)|2021. 03. 14.

Reinforcement Learning in Robotics참고 문헌 18인용 수 5

한 줄 요약

이 논문은 보상 없이도 어떤 보상 함수에 대해도 계획 없이 근사 최적 정책를 직접 유도할 수 있도록 하는 학습 가능한 압축된 요약인 전진-역행(FB) 표현을 소개한다. 비보상 경험을 바탕으로 오프-폴리시 시간 차분 학습을 통해 두 개의 딥 표현인 F(전진)와 B(역행)를 훈련함으로써, 훈련이 완벽할 경우 증명 가능한 최적 정책를 달성하며, 이의 비최적성은 근사 오차 비례한다.

ABSTRACT

We introduce the forward-backward (FB) representation of the dynamics of a reward-free Markov decision process. It provides explicit near-optimal policies for any reward specified a posteriori. During an unsupervised phase, we use reward-free interactions with the environment to learn two representations via off-the-shelf deep learning methods and temporal difference (TD) learning. In the test phase, a reward representation is estimated either from observations or an explicit reward description (e.g., a target state). The optimal policy for that reward is directly obtained from these representations, with no planning. We assume access to an exploration scheme or replay buffer for the first phase. The corresponding unsupervised loss is well-principled: if training is perfect, the policies obtained are provably optimal for any reward function. With imperfect training, the sub-optimality is proportional to the unsupervised approximation error. The FB representation learns long-range relationships between states and actions, via a predictive occupancy map, without having to synthesize states as in model-based approaches. This is a step towards learning controllable agents in arbitrary black-box stochastic environments. This approach compares well to goal-oriented RL algorithms on discrete and continuous mazes, pixel-based MsPacman, and the FetchReach virtual robot arm. We also illustrate how the agent can immediately adapt to new tasks beyond goal-oriented RL.

연구 동기 및 목표

• 미래의 어떤 보상 함수에 대해서도 최적의 정책 유도를 지원하는 환경에 대한 통합 표현을 학습할 수 있도록 하는 것.
• 목표 중심 강화학습과 모델 기반 계획의 한계를 극복하기 위해, 비보상 단계 동안 압축되고 일반적인 목적의 표현을 학습하는 것.
• 완벽한 훈련 조건에서 최적성 보장 보장이 가능한 잘 정립된 비보상 훈련 목표를 제공하는 것.
• 목표 도달 작업을 넘어서는 일반화 능력을 입증하기 위해, 조밀하고 복잡한 보상 함수에 대해서도 성능을 보여주는 것.
• 재학습이나 계획 없이도 고차원적이고 확률적인 환경에서도 새로운 작업에 즉각 적응할 수 있도록 하는 것.

제안 방법

• F(s,a,z)와 B(s',a')가 상태-행동 쌍을 잠재 공간 Z ≈ R^d로 매핑하는 전진-역행(FB) 표현 프레임워크를 활용한다.
• 정책 π_z에 대한 장기적인 도달 가능도를 근사하는 시간 차분(TD) 손실을 사용하여 F와 B를 훈련한다.
• 정책은 π_z(s) = argmax_a F(s,a,z)^T z로 정의되며, 이는 z와 표현들로부터 직접 정책 추론이 가능하게 한다.
• 보상 표현 z는 선형 투영을 통해 보상 관측치나 명시적 기술(예: 목표 상태)로부터 계산된다.
• 재현 없이도, 희소 보상 없이도, 표준 딥 러닝과 오프-폴리시 TD 학습을 사용하며, 리play 버퍼를 활용한다.
• 훈련 안정성을 높이기 위해 Polyak 평균화 기법을 사용하고, 이론적으로 최적성 보장을 갖춘 잘 정립된 비보상 손실을 적용한다.

실험 결과

연구 질문

• RQ1 보상 없이도 어떤 보상 함수에 대해 최적 정책 유도가 가능한 단일 압축 표현을 보상 없이 경험에서 학습할 수 있는가?
• RQ2 F와 B의 비보상 훈련을 이론적으로 최적성 보장을 갖는 잘 정립된 손실로 어떻게 공식화할 수 있는가?
• RQ3 이 방법은 목표 도달 작업을 넘어서 복잡하고 조밀하거나 다중 목표 보상에 대해 얼마나 잘 일반화되는가?
• RQ4 샘플 효율성과 정책 품질 측면에서 목표 중심 강화학습 및 모델 기반 기준 대비 어떻게 성능을 내는가?
• RQ5 FB 표현은 어떤 장거리 상태-행동 의존성을 학습하며, 이를 통해 일반화에 어떻게 기여하는가?

주요 결과

• 훈련이 완벽할 경우 FB 표현은 증명 가능한 최적 정책를 달성하며, 비최적성은 비보상 근사 오차에 비례한다.
• 이산 및 연속적 미로 환경에서, FB는 DQN 기반 목표 중심 방법보다 성공률과 샘플 효율성에서 뛰어나며, 특히 고차원 표현(예: FB-100)에서는 800 에포크 동안 DQN을 능가한다.
• 픽셀 기반 Ms. Pacman 환경에서, FB는 금지 영역 회피나 보상 거리 균형 조절과 같은 복잡한 작업에 대해 정책을 성공적으로 학습했으며, 정책의 질적 경로가 타당하다.
• FetchReach 환경에서, FB는 1000개의 샘플된 목표에 대해 평균 90% 이상의 높은 성공률를 기록하여 연속 제어에서의 강건성을 입증했다.
• t-SNE 시각화 결과, FB 표현은 환경의 구조적 특징(예: 방, 순환, 문 등)을 회복하고 있음을 확인했으며, 이는 장거리 상태 표현의 효과성을 시사한다.
• 표준 목표 중심 방법이 재학습 없이 처리할 수 없는, 근접한 작은 보상과 먼 큰 보상 사이에서 선택하는 새로운 작업에 즉각 적응할 수 있도록 한다.