[논문 리뷰] Pretraining in Deep Reinforcement Learning: A Survey

Zhihui Xie, Zichuan Lin외 3명|arXiv (Cornell University)|2022. 11. 08.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 종합 검토는 딥 강화학습(DRL)에서의 사전 훈련에 대한 포괄적인 개요를 제공하며, 온라인, 오프라인, 일반화 전용 사전 훈련 파라다임으로 방법을 분류한다. 강화학습 사전 훈련의 핵심 과제—예를 들어 샘플 효율성, 작업 특이성, 데이터 다양성—을 규명하고, 확장 가능하고 이식 가능한 DRL 에이전트를 위한 설계 원칙, 아키텍처, 향후 연구 방향을 제시한다.

ABSTRACT

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

연구 동기 및 목표

• 딥 강화학습에서의 기존 사전 훈련 방법을 온라인, 오프라인, 일반화 전용 파라다임으로 체계화하고 분류하는 것.
• 강화학습의 순차적이고 시행착오적인 성격과 제한된 보상 신호에 기인한 사전 훈련의 고유한 과제를 규명하는 것.
• 사전 훈련이 DRL에서 샘플 효율성, 일반화 능력, 확장성 향상에 기여하는 역할을 부각하는 것.
• 대규모 RL 사전 훈련을 위한 열린 문제와 설계 원칙을 제시하여 향후 연구의 기초를 마련하는 것.
• 자연어 처리(NLP)와 컴퓨터 비전(CV)에서의 사전 훈련 성공 사례와 비교해, 강화학습에서의 잠재적 활용이 아직 탐색되지 않은 점을 메우는 것.

제안 방법

• DRL에서의 사전 훈련을 세 가지 주요 유형으로 분류: 온라인 사전 훈련(보상 없이 상호작용에서 학습), 오프라인 사전 훈련(부적절하거나 전문가의 시범 데이터 사용), 일반화 전용 사전 훈련(다양하고 작업에 종속되지 않는 데이터에서 학습).
• 자기지도 학습 및 대비 학습 기반 표현 학습 기법 분석 — 예를 들어 행동 예측, 미래 상태 예측, 상태-행동 쌍에 대한 대비 학습.
• 세계 모델 사전 훈련 검토 — 비디오 또는 궤적 데이터로부터 환경의 동역학을 학습하여 신속한 적응을 가능하게 함.
• 기초 모델과 스케일링 법칙의 활용 검토 — NLP 및 CV 분야의 대규모 모델과 유사한 맥락에서의 적용.
• 사전 훈련된 정책을 최종 작업에 적응시키기 위한 기법 분석 — 피니튜닝, 프롬프트 튜닝, 보상 모델링.
• 이식 가능성을 고려한 아키텍처 선택, 데이터 다양성, 평가 프로토콜을 강조하는 DRL 사전 훈련을 위한 통합 프레임워크 제안.

실험 결과

연구 질문

• RQ1 DRL에서의 사전 훈련은 어떻게 샘플 효율성을 향상시키고, 초기부터의 작업 특화 훈련이 필요한 정도를 줄일 수 있는가?
• RQ2 감독 학습이나 NLP와 비교했을 때, 사전 훈련을 강화학습에 적용할 때의 주요 차이점과 과제는 무엇인가?
• RQ3 오프라인 및 온라인 사전 훈련은 어떻게 활용되어 제로샷 또는 희소한 샘플로도 적응 가능한 일반화 전용 에이전트를 구축하는 데 기여하는가?
• RQ4 초과 인공지능 성능을 달성하기 위해 사전 훈련을 확장하는 데 가장 효과적인 아키텍처 및 훈련 설계는 무엇인가?
• RQ5 일반화 및 확장 가능한 RL 에이전트를 위한 사전 훈련에서의 열린 문제와 향후 연구 방향은 무엇인가?

주요 결과

• DRL에서의 사전 훈련은 샘플 효율성을 크게 향상시키고, 최종 작업에 대한 빠른 적응을 가능하게 하여 광범위한 온라인 상호작용이 필요로 하는 것을 줄인다.
• 부적절하거나 전문가의 시범 데이터를 사용한 오프라인 사전 훈련은 효과적인 정책 이식을 가능하게 하며, MOBA 게임이나 로봇 조작과 같은 복잡한 환경에서 성공을 거두었다.
• 다양하고 작업에 종속되지 않는 데이터 및 대규모 모델을 활용한 일반화 전용 사전 훈련은 여러 도메인에 걸쳐 제로샷 또는 희소한 샘플로의 일반화 가능성을 보여주며 잠재력을 지닌다.
• 대비 학습 및 자기지도 표현 학습 기법 — 예를 들어 미래 상태나 행동 예측 — 은 이식 가능한 특징을 학습하는 데 뛰어난 성능을 보였다.
• 세계 모델 또는 동역학 예측 모델을 활용한 사전 훈련은 조건이 불리한 환경(예: 보상 신호가 희박한 환경)에서도 계획 수립과 일반화 능력을 향상시킨다.
• 스케일링 법칙과 아키텍처 선택(예: 트랜스포머 기반 정책)은 사전 훈련의 잠재력을 극대화하는 데 핵심적이며, 최근 게임 환경에서 초과 인공지능 성능을 달성한 사례로 입증되었다.