[논문 리뷰] Loss is its own Reward: Self-Supervision for Reinforcement Learning

Evan Shelhamer, Parsa Mahmoudieh외 2명|arXiv (Cornell University)|2016. 12. 21.

Reinforcement Learning in Robotics참고 문헌 24인용 수 91

한 줄 요약

이 논문은 강화학습에서 표현 학습을 향상시키기 위해 자기지도 보조 손실(예: 상태 동역학 예측, 역동역학 예측, 후속 상태 예측)을 사용하는 것을 제안한다. 외부 보상이 없는 전이 상태들조차도 활용함으로써 데이터 효율성과 정책 성능을 향상시키며, 자기지도 사전학습을 통해 평균 1.4배 빠른 수렴 속도로 최고의 Atari 수익의 95%를 달성한다.

ABSTRACT

Reinforcement learning optimizes policies for expected cumulative reward. Need the supervision be so narrow? Reward is delayed and sparse for many tasks, making it a difficult and impoverished signal for end-to-end optimization. To augment reward, we consider a range of self-supervised tasks that incorporate states, actions, and successors to provide auxiliary losses. These losses offer ubiquitous and instantaneous supervision for representation learning even in the absence of reward. While current results show that learning from reward alone is feasible, pure reinforcement learning methods are constrained by computational and data efficiency issues that can be remedied by auxiliary losses. Self-supervised pre-training and joint optimization improve the data efficiency and policy returns of end-to-end reinforcement learning.

연구 동기 및 목표

• 엔드 투 엔드 강화학습에서의 데이터 효율성과 표현 학습의 한계를 해결하기 위해.
• 환경 전이에서 얻는 광범위하고 즉각적인 감독 신호를 통합함으로써 정책 최적화를 향상시키기 위해.
• 학습된 표현으로부터 정책 복구를 빠르게 수행할 수 있도록 하여 표현 학습이 핵심적 한계임을 입증하기 위해.
• 특수 정보나 작업별 애너테이션 없이도 사용 가능한 자기지도 작업을 개발하기 위해.
• 자기지도 사전학습과 자율 최적화의 영향을 정책 성능에 대해 비교하기 위해.

제안 방법

• 상태, 행동, 보상, 후속 전이를 기반으로 한 분류적 자기지도 작업을 도입: 전방 동역학, 역동역학, 후속 표현 예측.
• 강화학습과 자기지도 작업 모두에 공통된 표현 기반 구조를 사용하여 다중 작업 학습을 가능하게 한다.
• 정책 네트워크를 초기화하기 위해 자기지도 사전학습을 적용한 후, 강화학습 손실과 함께 공동 최적화를 수행한다.
• 강화학습과 보조 작업 간에 공유되는 특징 인코더를 갖춘 잔차 신경망 아키텍처를 사용한다.
• 표준 정책 그래디언트 방법(예: A3C)을 사용하며, 학습 중에 자기지도 손실에서 유도된 보조 그래디언트를 적용한다.
• 생성 모델링이 필요 없는 분류적 손실을 설계하여 생성 모델링의 필요성을 피한다.

실험 결과

연구 질문

• RQ1 자기지도 보조 손실이 딥 강화학습에서 데이터 효율성과 정책 수익을 향상시킬 수 있는가?
• RQ2 자기지도 작업에서 사전학습을 통해 엔드 투 엔드 학습에서 처음부터 시작하는 것보다 정책 학습 속도가 얼마나 빨라지는가?
• RQ3 자기지도 및 강화학습 목표의 공동 최적화는 사전학습만으로 하는 것보다 어떻게 다른가?
• RQ4 정책과 가치 헤드를 제거한 '탈두각된 에이전트'가 빠르게 재학습될 수 있는가? 이는 학습된 표현의 품질을 시사한다.
• RQ5 환경의 일반적인 신호에서 유도된 자기지도 손실이 보상 외의 표현 학습을 얼마나 향상시키는가?

주요 결과

• 자기지도 사전학습을 통해 에이전트는 Atari 게임에서 평균적으로 최고 수익의 95%를 달성하며, 수렴 속도가 1.4배 빨라진다.
• 탈두각된 에이전트에서 정책 복구가 초기 학습보다 현저히 빠르게 이루어지므로 표현 학습이 주요 한계임을 시사한다.
• 자기지도 및 강화학습 목표의 공동 최적화는 사전학습만으로 하는 것보다 더 높은 데이터 효율성을 달성한다.
• 희소하거나 지연된 보상이 없는 상황에서도 모든 전이 상태를 감독 신호로 활용함으로써 정책 성능을 향상시킨다.
• 전방 및 역동역학 예측과 같은 자기지도 손실은 표현 학습에 효과적인 인덕티브 바이어스를 제공한다.
• 이 방법은 환경 간에 일반화되며 특수 정보나 작업별 애너테이션을 필요로 하지 않는다.