[논문 리뷰] Masked Autoencoding for Scalable and Generalizable Decision Making

Fangchen Liu, Hao Liu외 2명|arXiv (Cornell University)|2022. 11. 23.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 강화학습을 위한 자기지도 사전학습 방법인 마스킹된 결정 예측(Masked Decision Prediction, MaskDP)을 제안한다. 이 방법은 상태-행동 트레이젝터리에 마스킹된 자동에코딩을 적용하여 일반화 가능하고 확장 가능한 에이전트를 학습한다. 상태와 행동을 무작위로 마스킹하고 재구성함으로써 MaskDP는 목표 도달 및 오프라인 강화학습 작업으로의 제로샷 전이를 가능하게 하며, 사전 학습된 방법들보다 제로샷 설정에서 뛰어난 성능을 보이며 모델 크기에 따라 강력한 확장성을 보인다.

ABSTRACT

We are interested in learning scalable agents for reinforcement learning that can learn from large-scale, diverse sequential data similar to current large vision and language models. To this end, this paper presents masked decision prediction (MaskDP), a simple and scalable self-supervised pretraining method for reinforcement learning (RL) and behavioral cloning (BC). In our MaskDP approach, we employ a masked autoencoder (MAE) to state-action trajectories, wherein we randomly mask state and action tokens and reconstruct the missing data. By doing so, the model is required to infer masked-out states and actions and extract information about dynamics. We find that masking different proportions of the input sequence significantly helps with learning a better model that generalizes well to multiple downstream tasks. In our empirical study, we find that a MaskDP model gains the capability of zero-shot transfer to new BC tasks, such as single and multiple goal reaching, and it can zero-shot infer skills from a few example transitions. In addition, MaskDP transfers well to offline RL and shows promising scaling behavior w.r.t. to model size. It is amenable to data-efficient finetuning, achieving competitive results with prior methods based on autoregressive pretraining.

연구 동기 및 목표

• 다양한 최종 작업으로 일반화되는 확장 가능한 자기지도 사전학습 방법을 개발하기 위해.
• 작업에 특화된 미세조정 없이 목표 도달 및 오프라인 강화학습으로의 제로샷 전이를 가능하게 하기 위해.
• 시각 및 언어 모델에서 영감을 받은 비자기적 순차 예측의 효과성을 탐구하기 위해.
• 사전학습 중 마스크 비율을 다양하게 조절할 경우 일반화 및 최종 성능에 어떤 영향을 미치는지 조사하기 위해.
• MaskDP가 다양한 레이블이 없는 순차 데이터로부터 학습할 수 있으며, 자동에코딩 사전학습 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• MaskDP는 상태-행동 트레이젝터리에 마스킹된 자동에코딩을 적용하여 일부 상태 및 행동 토큰을 무작위로 마스킹한다.
• 모델은 동일한 학습 신호에서 정방향 및 역방향 역학을 모두 학습하기 위해 트랜스포머 기반 아키텍처를 사용하여 마스킹된 토큰을 재구성한다.
• 사전학습 중에 여러 마스크 비율(15%, 35%, 75%, 95%)을 사용하며, 각 시퀀스는 무작위로 선택된 비율을 사용하여 일반화 능력을 향상시킨다.
• 모델은 다양한 레이블이 없는 순차 데이터에서 사전학습된 후, 최종 작업을 위한 최소한의 데이터로 미세조정된다.
• 사전학습 중에 마스킹된 토큰과 마스킹되지 않은 토큰의 재구성 손실을 모두 포함하는 총 손실을 사용하며, 이는 단순히 마스킹된 손실만 사용하는 것보다 경험적으로 수렴 속도가 빠르다.
• 이 방법은 제로샷 목표 도달, 순차적 목표 도달 작업, 오프라인 강화학습 벤치마크에서 평가되며, Goal-GPT와 같은 자동에코딩 기반 기준 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 상태-행동 트레이젝터리에 마스킹된 자동에코딩을 적용하면 다양한 최종 강화학습 작업으로의 제로샷 전이가 가능한가?
• RQ2 사전학습 중 마스크 비율을 다양하게 조절할 경우 일반화 능력과 최종 성능에 어떤 영향을 미치는가?
• RQ3 비자기적 마스킹 예측 접근 방식이 오프라인 강화학습 및 목표 도달 작업에서 자동에코딩 사전학습보다 우월한가?
• RQ4 MaskDP는 모델 크기에 따라 효과적으로 확장될 수 있으며, 더 큰 아키텍처에서도 성능 향상이 유지되는가?
• RQ5 데이터 효율성과 제로샷 전이 측면에서 MaskDP는 Goal-GPT와 같은 자동에코딩 사전학습 방법보다 어떻게 비교되는가?

주요 결과

• MaskDP는 단일 목표 도달 작업에서 사전학습 기반 및 학습부터 시작하는 방법보다 성능이 뛰어나거나 이를 맞추며, 제로샷 설정에서도 동일한 성능을 달성한다.
• 순차적 다중 목표 도달 작업에서는 MaskDP가 반복적 기반 모델을 크게 능가하며, 닫힌 루프 실행 없이 다단계 트레이잭터리를 계획하는 데 성공한다.
• MaskDP는 오프라인 강화학습으로의 전이 능력이 뛰어나 전용 오프라인 강화학습 방법과 유사한 성능을 보이며, Walker 도메인에서 최고 성능을 기록한다.
• 모델은 강력한 확장성을 보이며, MaskDP 사전학습 후 미세조정된 더 큰 모델이 더 작은 모델보다 항상 뛰어난 성능을 보인다. 이는 Goal-GPT에서는 성능 향상이 미미한 것과 대조된다.
• 혼합 마스크 비율 전략(15%, 35%, 75%, 95%)은 고정 비율 기반 모델보다 뛰어난 성능을 보이며, 95% 마스킹이 의미 있는 재구성에 가장 효과적인 것으로 밝혀졌다.
• 총 손실(마스킹 + 마스킹되지 않은 손실)을 사용하여 훈련할 경우, 깨끗한 전문가 데이터에서도 마스킹 손실만 사용하는 것보다 수렴 속도가 더 빠르다.