[논문 리뷰] Retrieval-Augmented Reinforcement Learning

A. Goyal, Abram L. Friesen외 14명|arXiv (Cornell University)|2022. 02. 17.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 추론 중에 과거 경험 데이터셋에서 동적으로 관련 정보를 접근함으로써 강화학습(Reinforcement Learning, RL) 에이전트의 성능을 햖스르는 Retrieval-Augmented Reinforcement Learning(R2A)를 제안한다. R2A는 추론 중 관련된 궤적을 검색함으로써 오프라인 및 온라인 RL 환경에서 더 빠른 학습과 향상된 성능을 달성하며, Atari, GridWorld, BabyAI 벤치마크에서 표준 DQN 및 R2D2 에이전트를 능가한다.

ABSTRACT

Most deep reinforcement learning (RL) algorithms distill experience into parametric behavior policies or value functions via gradient updates. While effective, this approach has several disadvantages: (1) it is computationally expensive, (2) it can take many updates to integrate experiences into the parametric model, (3) experiences that are not fully integrated do not appropriately influence the agent's behavior, and (4) behavior is limited by the capacity of the model. In this paper we explore an alternative paradigm in which we train a network to map a dataset of past experiences to optimal behavior. Specifically, we augment an RL agent with a retrieval process (parameterized as a neural network) that has direct access to a dataset of experiences. This dataset can come from the agent's past experiences, expert demonstrations, or any other relevant source. The retrieval process is trained to retrieve information from the dataset that may be useful in the current context, to help the agent achieve its goal faster and more efficiently. he proposed method facilitates learning agents that at test-time can condition their behavior on the entire dataset and not only the current state, or current trajectory. We integrate our method into two different RL agents: an offline DQN agent and an online R2D2 agent. In offline multi-task problems, we show that the retrieval-augmented DQN agent avoids task interference and learns faster than the baseline DQN agent. On Atari, we show that retrieval-augmented R2D2 learns significantly faster than the baseline R2D2 agent and achieves higher scores. We run extensive ablations to measure the contributions of the components of our proposed method.

연구 동기 및 목표

• 과거 경험들이 파rametric 모델로 압축되면서 세부 정보가 손실되는 표준 딥 RL의 한계를 해결한다.
• 표준 RL에서 새로운 경험을 통합하는 데 지연이 발생하고, 전체 역사 데이터를 조건으로 삼을 수 없는 문제를 해결한다.
• 현재 상태나 학습된 정책이 아닌 전체 과거 경험 데이터셋을 기반으로 결정보를 내릴 수 있도록 에이전트를 가능하게 한다.
• 다중작업 및 오프라인 RL 환경에서 샘플 효율성을 향상시키고 작업 간 간섭을 줄인다.
• 에이전트와 검색 프로세스 각각에 별개의 내부 상태를 유지하는 검색 보강형 프레임워크를 개발한다.

제안 방법

• 표준 RL 에이전트에 과거 궤적 데이터셋에 접근할 수 있는 미분 가능한 신경망 기반 검색 프로세스를 통합한다.
• 다중 주의 기반 슬롯을 갖춘 순환 검색 네트워크를 사용하여 인코딩된 궤적 배치에서 관련 정보를 검색한다.
• 에이전트와 동일한 인코더를 사용해 원시 궤적을 인코딩한 후, 정방향 및 역방향 요약 함수를 통해 요약한다.
• 현재 작업 맥락에 대한 검색 관련성을 향상시키기 위해 경량 기반으로 미분 가능하게 학습한다.
• 맥락 인식 업데이트 메커니즘을 통해 검색된 정보를 에이전트의 정책 또는 가치 함수에 통합한다.
• 공유된 초모수를 사용해 오프라인 DQN 및 온라인 R2D2 에이전트 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 전체 역사 경험에 접근할 수 있는 검색 보강형 RL 에이전트가 표준 파rametric RL 에이전트보다 더 빠르고 효율적으로 학습할 수 있는가?
• RQ2 다중작업 오프라인 RL 환경에서 과거 궤적 검색이 작업 간 간섭을 줄이는 데 어떤 영향을 미치는가?
• RQ3 부분 관측 가능한 환경인 BabyAI와 같은 환경에서 검색 프로세스가 샘플 효율성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 학습 속도와 최종 성능 측면에서 기반 RL 알고리즘에 비해 검색 메커니즘이 기여하는 정도는 어느 정도인가?
• RQ5 검색된 궤적은 현재 작업과 어떤 관계가 있으며, 에이전트는 유사한 작업인지 조합형 작업에서 더 많이 검색하는가?

주요 결과

• Atari 환경에서 검색 보강형 R2D2 에이전트는 기준 R2D2 에이전트보다 유의미하게 높은 점수를 기록했고, 더 빠르게 학습했다.
• 오프라인 다중작업 GridRoboMan 환경에서 RA-DQN은 작업 간섭을 피하고 30개의 작업 전역에서 더 빠르게 학습하여 표준 DQN을 능가했다.
• BabyAI 환경에서 조합형 작업 동안 에이전트는 다른 작업의 정보를 54%의 비율로 검색했고, 단일 행동 작업에서는 21%에 그쳤다. 이는 적응형 검색 행동을 보여준다.
• 절단 실험을 통해 검색 메커니즘과 검색 배치 구성 방식이 성능 향상에 필수적임을 확인했다.
• 제한된 경험 재생 조건에서도 검색 보강형 에이전트가 높은 성능 유지를 보이며 샘플 효율성이 향상됨을 입증했다.
• 이 방법은 에이전트가 현재 상태나 정책 파rameter뿐 아니라 전체 과거 경험 데이터셋을 기반으로 행동을 조건화할 수 있음을 성공적으로 실현했다.