[논문 리뷰] Data-Efficient Reinforcement Learning with Self-Predictive Representations

Max Schwarzer, Anand, Ankesh외 4명|arXiv (Cornell University)|2020. 07. 12.

Reinforcement Learning in Robotics참고 문헌 55인용 수 50

한 줄 요약

SPR은 강력한 RL 에이전트에 자체 감독(Self-supervised) 학습, 잠재 공간 미래 예측 및 데이터 증강을 더해 샘플 효율성을 높이고 Atari 100k에서 최첨단 성능을 달성하며 여러 게임에서 인간 점수를 능가합니다.

ABSTRACT

L'efficacité des données reste un défi majeur dans l'apprentissage par renforcement profond. Bien que les techniques modernes soient capables d'atteindre des performances élevées dans des tâches extrêmement complexes, y compris les jeux de stratégie comme le StarCraft, les échecs, le shogi et le go, ainsi que dans des domaines visuels exigeants comme les jeux Atari, cela nécessite généralement d'énormes quantités de données interactives, limitant ainsi l'application pratique de l'apprentissage par renforcement. Dans ce mémoire, nous proposons la SPR, une méthode inspirée des récentes avancées en apprentissage auto-supervisé de représentations, conçue pour améliorer l'efficacité des données des agents d'apprentissage par renforcement profond. Nous évaluons cette méthode sur l'environement d'apprentissage Atari, et nous montrons qu'elle améliore considérablement les performances des agents avec un surcroît de calcul modéré. Lorsqu'on lui accorde à peu près le même temps d'apprentissage qu'aux testeurs humains, un agent d'apprentissage par renforcement augmenté de SPR atteint des performances surhumaines dans 7 des 26 jeux, une augmentation de 350% par rapport à l'état de l'art précédent, tout en améliorant fortement les performances moyennes et médianes. Nous évaluons également cette méthode sur un ensemble de tâches de contrôle continu, montrant des améliorations substantielles par rapport aux méthodes précédentes. Le chapitre 1 présente les concepts nécessaires à la compréhension du travail présenté, y compris des aperçus de l'apprentissage par renforcement profond et de l'apprentissage auto-supervisé de représentations. Le chapitre 2 contient une description détaillée de nos contributions à l'exploitation de l'apprentissage de représentation auto-supervisé pour améliorer l'efficacité des données dans l'apprentissage par renforcement. Le chapitre 3 présente quelques conclusions tirées de ces travaux, y compris des propositions pour les travaux futurs.

연구 동기 및 목표

• 환경 상호작용이 제한될 때 데이터 효율적인 RL을 고취한다.
• 시각 입력의 구조와 시간적 역학을 기반으로 하는 자기 감독 목표를 활용한다.
• 미래 잠재 상태를 예측하는 표현을 학습한다.
• 관찰의 증강 뷰들 간에 표현의 일관성을 보장한다.
• 픽셀 기반 과제에서 성능을 높이기 위해 SPR을 강력한 RL 에이전트와 통합한다.

제안 방법

• 관측값 s_t로부터 표현 z_t를 생성하기 위해 온라인 인코더 f_o를 사용한다.
• 온라인 인코더의 EMA(지수이동평균)로 매개변수가 이루어지는 타깃 인코더 f_m을 유지한다.
• 과거 잠재 상태와 행동으로부터 미래 잠재 표현을 예측하는 전이 모델 h를 도입한다.
• 표현을 코사인 유사도 SPR 손실 공간으로 매핑하기 위해 투영 헤드 g_o, g_m 및 예측기 q를 적용한다.
• K개의 미래 스텝에 걸친 예측 프로젝션과 타깃 프로젝션 간의 음의 코사인 유사도로 SPR 손실을 계산한다.
• SPR 손실을 Rainbow RL 손실과 결합한다: L_total = L_RL + lambda * L_SPR

실험 결과

연구 질문

• RQ1 Self-Predictive Representations가 Atari 100k 구간에서 데이터 효율성을 향상시키나요?
• RQ2 데이터 증강이 SPR 표현의 품질 및 RL 성능에 어떤 영향을 미치나요?
• RQ3 다양한 미래 예측 깊이 K가 SPR 성능에 미치는 영향은 무엇인가요?
• RQ4 타깃 인코더(EMA)의 중요성은 표현 붕괴를 예방하고 좋은 성능을 달성하는 데 있어 얼마나 중요한가요?

주요 결과

랜덤	인간	SimPLe	DER	OTRainbow	CURL	DrQ	SPR (no Aug)	SPR
0.000	1.000	0.443	0.285	0.264	0.381	0.357	0.463	0.704
0.000	1.000	0.144	0.161	0.204	0.175	0.268	0.307	0.415
0.000	23.382	0.232	0.239	0.197	0.325	0.171	0.336	0.510
0.000	0.994	0.118	0.142	0.103	0.142	0.131	0.225	0.361
0	N/A	2	2	1	2	2	5	7

• 데이터 증강이 있는 SPR은 Atari 100k에서 인간 표준화 점수의 중앙값 0.415를 달성하여 새로운 최첨단을 기록했다.
• 증강 없이도 SPR은 이전 방법을 능가하여 예측 잠재 목표의 가치를 시사한다.
• SPR은 26개 중 7개 게임에서 전문가 인간 점수를 초과하여 견고한 데이터 효율적 성능을 보여준다.
• 최상의 성능을 위해 EMA(tau)가 있는 별도 타깃 인코더가 필수적이며, 이 설정에서 증강과 tau = 0이 가장 좋다.
• 예측 깊이를 K = 5까지 증가시키면 게임 전반에 걸쳐 성능이 향상되며, 더 큰 K에서는 수익이 감소한다.
• 투영 헤드와 예측 헤드가 결정적이며, 이를 제거하면 투영된 잠재 표현을 사용하는 것에 비해 성능이 저하된다.