[논문 리뷰] Reinforcement Learning as One Big Sequence Modeling Problem

Michael Jänner, Qiyang Li외 1명|arXiv (Cornell University)|2021. 06. 03.

Reinforcement Learning in Robotics인용 수 17

한 줄 요약

이 논문은 상태, 행동, 보상의 최적의 순서를 예측하기 위해 Transformer 아키텍처를 사용하여 강화학습을 단일 통합 시퀀스 모델링 문제로 재구성한다. RL을 자동회귀적 시퀀스 예측으로 간주함으로써 별도의 행동 클로닝, 탐색 제약, 불확실성 추정이 필요 없어지며, 장수명 제어, 이민학습, 목표조건부 강화학습, 오프라인 강화학습 등 다양한 분야에서 뛰어난 성능을 달성한다.

ABSTRACT

Reinforcement learning (RL) is typically concerned with estimating single-step policies or single-step models, leveraging the Markov property to factorize the problem in time. However, we can also view RL as a sequence problem, with the goal being to predict a sequence of actions that leads to a sequence of high rewards. Viewed in this way, it is tempting to consider whether powerful, high-capacity sequence prediction models that work well in other domains, such as natural-language processing, can also provide simple and effective solutions to the RL problem. To this end, we explore how RL can be reframed as one big sequence modeling problem, using state-of-the-art Transformer architectures to model distributions over sequences of states, actions, and rewards. Addressing RL as a sequence problem significantly simplifies a range of design decisions: we no longer require separate behavior policy constraints, as is common in prior work on offline model-free RL, and we no longer require ensembles or other epistemic uncertainty estimators, as is common in prior work on model-based RL. All of these roles are filled by the same Transformer sequence model. In our experiments, we demonstrate the flexibility of this approach across long-horizon dynamics prediction, imitation learning, goal-conditioned RL, and offline RL.

연구 동기 및 목표

• 강화학습이 단일 시퀀스 모델링 프레임워크로 통합될 수 있는지 조사하는 것.
• 오프라인 강화학습에서 별도의 행동 정책 제약이 필요 없도록 하는 것.
• 모델기반 강화학습에서 앙상블 방법과 불확실성 추정기구를 단일 시퀀스 모델로 대체하는 것.
• Transformer가 다양한 강화학습 환경에서 장수명 결정 시퀀스를 모델링하는 데 얼마나 효과적인지 평가하는 것.
• 특수화된 아키텍처 없이도 단일 고용량 시퀀스 모델이 다양한 강화학습 작업을 처리할 수 있는지 보여주는 것.

제안 방법

• 모델이 과거 상태와 보상 기록을 바탕으로 행동 시퀀스를 예측하는 자동회귀적 시퀀스 모델링으로 RL을 재구성한다.
• 상태, 행동, 보상의 시퀀스에 대한 공동 분포를 모델링하기 위해 Transformer 기반 아키텍처를 사용한다.
• 행동 시퀀스를 타깃으로 삼아, 시연되거나 수집된 궤적을 사용하여 지도학습 방식으로 모델을 종합적으로 훈련시킨다.
• 반복 구조에 의존하지 않고, 어텐션 메커니즘을 활용해 시간 단위 간 장거리 의존성을 포착한다.
• 추론 중에 자동회귀 디코딩을 사용하여 이전 상태와 행동에 조건화된 방식으로 단계별로 행동 시퀀스를 생성한다.
• 모델의 일반화 능력을 활용해 명시적 탐색 또는 행동 클로닝을 회피한다.

실험 결과

연구 질문

• RQ1 강화학습이 단일 시퀀스 모델링 프레임워크로 효과적으로 통합될 수 있는가?
• RQ2 단일 Transformer 모델이 행동 클로닝, 불확실성 추정, 탐색 제약 등 여러 구성 요소를 대체할 수 있는가?
• RQ3 이 방법은 장수명, 목표조건부, 오프라인 강화학습 작업 전반에 걸쳐 얼마나 잘 일반화되는가?
• RQ4 설계 및 성능 측면에서 자동회귀적 시퀀스 모델링이 전통적 강화학습 방법보다 우월하거나 단순화되는가?
• RQ5 고용량 시퀀스 모델이 명시적 보상 형상 조정이나 보조 목표 없이도 복잡한 정책을 학습할 수 있는가?

주요 결과

• 명시적 보상 형상 조정이나 커리큘럼 학습 없이도 장수명 제어 과제에서 경쟁 가능한 성능을 달성한다.
• 오프라인 강화학습에서 행동 클로닝이나 행동 정책 제약이 필요 없어지며, 훈련 및 추론 과정이 단순해진다.
• 보정 또는 보조 네트워크 없이도 목표조건부 강화학습에서 미리보지 않은 목표로도 효과적으로 일반화된다.
• 이민학습 환경에서 뛰어난 성능을 발휘하며, 전용 행동 클로닝 기준선 수준 이상이거나 이를 초월한다.
• 단일 통합 아키텍처를 사용하여 다양한 강화학습 벤치마크에서 뛰어난 결과를 달성한 Transformer 기반 시퀀스 모델이다.
• 앙상블 및 불확실성 추정기구를 단일 고용량 시퀀스 모델로 대체함으로써 아키텍처의 복잡성을 감소시켰다.