[논문 리뷰] Large-Scale Retrieval for Reinforcement Learning

Peter C. Humphreys, Arthur Guez외 4명|arXiv (Cornell University)|2022. 06. 10.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 약 5000만 개의 전문가 시도 상태에 접근할 수 있는 근사 최근접 이웃 검색을 통해 9×9 고에서 의사결정 능력을 크게 향상시키는 검색 증강 강화학습 프레임워크를 제안한다. 이 방법은 재학습 없이도 에이전트가 검색된 컨텍스트를 활용해 예측 정확도와 게임 성능을 햖을 수 있도록 엔드 투 엔드 학습을 가능하게 하며, 추론 시 새로운 데이터가 추가되어도 즉각적인 성능 향상을 제공한다.

ABSTRACT

Effective decision making involves flexibly relating past experiences and relevant contextual information to a novel situation. In deep reinforcement learning (RL), the dominant paradigm is for an agent to amortise information that helps decision making into its network weights via gradient descent on training losses. Here, we pursue an alternative approach in which agents can utilise large-scale context sensitive database lookups to support their parametric computations. This allows agents to directly learn in an end-to-end manner to utilise relevant information to inform their outputs. In addition, new information can be attended to by the agent, without retraining, by simply augmenting the retrieval dataset. We study this approach for offline RL in 9x9 Go, a challenging game for which the vast combinatorial state space privileges generalisation over direct matching to past experiences. We leverage fast, approximate nearest neighbor techniques in order to retrieve relevant data from a set of tens of millions of expert demonstration states. Attending to this information provides a significant boost to prediction accuracy and game-play performance over simply using these demonstrations as training trajectories, providing a compelling demonstration of the value of large-scale retrieval in offline RL agents.

연구 동기 및 목표

• 딥 강화학습 에이전트가 추론 중에 과거 경험의 광범위한 외부 데이터셋에 액세스하고 활용할 수 있도록 하는 것.
• 새로운 정보를 통합하기 위해 광범위한 재학습이 필요한 순수 매개변수 모델의 한계를 극복하는 것.
• 대규모, 컨텍스트 민감한 검색이 9×9 고와 같은 조합 최적화 환경에서 일반화 및 의사결정 능력을 향상시킬 수 있는지 탐색하는 것.
• 검색이 다양한 정보 소스를 강화학습 에이전트에 통합하는 데 있어 확장 가능하고 효율적이며 적응 가능한 메커니즘으로 사용될 수 있는지 보여주는 것.
• 분포 이탈 상황에서도 추가 학습 없이 검색이 성능 향상에 기여하는지 검증하는 것.

제안 방법

• 에이전트는 매개변수 정책 네트워크와 검색 메커니즘을 조합한 반-매개변수 아키텍처를 사용하여 관련된 과거 경험에 액세스한다.
• 보드 상태의 학습된 임bedding 공간에서 근사 최근접 이웃(ANN) 검색을 통해 관련 경험을 검색한다.
• 검색 쿼리는 현재 관측값으로부터 쿼리 네트워크를 통해 생성되며, 상위-k개의 근접 이웃이 정책 및 가치 예측을 조건화하는 데 사용된다.
• 학습은 약 5000만 개의 전문가 고 게임 데이터셋에서 제공하는 시연 데이터를 사용한 오프라인 지도 기반 강화학습 설정에서 엔드 투 엔드로 수행된다.
• 추론 시에는 검색된 컨텍스트를 활용하여 정책 성능을 추가로 향상시키기 위해 몬테카를로 트리 검색(MCTS)이 적용된다.
• 검색 데이터셋은 추론 시 동적으로 새로운 게임 데이터로 업데이트될 수 있으며, 재학습 없이도 즉각적인 성능 향상을 제공한다.

실험 결과

연구 질문

• RQ1 과거 경험의 대규모, 컨텍스트 민감한 검색이 딥 강화학습 에이전트의 의사결정 능력을 향상시킬 수 있는가?
• RQ2 외부 데이터에 기반한 검색 접근이 9×9 고와 같은 조합 최적화 환경에서 일반화 능력을 향상시키는가?
• RQ3 에이전트가 검색 데이터베이스만 업데이트함으로써 재학습 없이도 새로운 정보에 적응할 수 있는가?
• RQ4 성능 및 효율성 측면에서 전통적인 리PLAY 또는 매개변수 암시적 보상과 비교할 때 검색은 어떻게 다른가?
• RQ5 검색이 MCTS와 같은 계획 수단과 결합했을 때, 분포 이탈 상황에서 얼마나 잘 상호보완하는가?

주요 결과

• 검색 증강 에이전트는 9×9 고에서 예측 정확도와 게임 플레이 성능 모두에서 강력한 비검색 기반 베이스라인을 크게 앞서는 성능을 보였다.
• 평가 대상 상대와의 새로운 게임 데이터를 검색 데이터셋에 추가함으로써, 재학습 없이도 즉각적인 성능 향상을 달성했다.
• 추론 시 무작위로 검색된 이웃을 사용한 경우에도 에이전트가 여전히 상당한 성능 유지를 보였으며, 이는 훈련 중에 검색된 데이터로부터 일반화를 학습했다는 것을 시사한다.
• 검색과 MCTS의 조합은 상호보완적인 성능 향상을 가져왔으며, 시뮬레이션 수와 검색된 이웃 수가 모두 결과를 향상시켰다.
• 계산 효율성 측면에서 검색은 MCTS 시뮬레이션 수를 늘리는 것에 비해 비용 대비 성능 향상이 매우 뛰어나다는 점을 입증했다.
• 기존 방법들과 달리 이 방법은 검색된 정보를 어떻게 사용할지에 대한 엔드 투 엔드 학습을 가능하게 하며, 과거 데이터를 사용하는 고정 메커니즘을 제시하지 않는다.