[논문 리뷰] Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors

Benjamin Spector, Serge Belongie|arXiv (Cornell University)|2018. 01. 07.

Reinforcement Learning in Robotics참고 문헌 2인용 수 11

한 줄 요약

이 논문은 관련된 환경 간의 공유 표현을 활용하여 표본 효율적인 강화학습을 가능하게 하는 아키텍처 및 전이 사전 지식을 제안한다. 자동으로 생성된 게임 변형에서 공유 특징 인코더를 갖는 딥 Q-네트워크를 훈련시킴으로써, 표준 DQN에 비해 50배 빠른 표본 효율성을 달성하며, 이는 구조적인 인도적 편향이 새로운 그러나 유사한 작업에서 학습 단계를 크게 줄일 수 있음을 보여준다.

ABSTRACT

Recent work in deep reinforcement learning has allowed algorithms to learn complex tasks such as Atari 2600 games just from the reward provided by the game, but these algorithms presently require millions of training steps in order to learn, making them approximately five orders of magnitude slower than humans. One reason for this is that humans build robust shared representations that are applicable to collections of problems, making it much easier to assimilate new variants. This paper first introduces the idea of automatically-generated game sets to aid in transfer learning research, and then demonstrates the utility of shared representations by showing that models can substantially benefit from the incorporation of relevant architectural priors. This technique affords a remarkable 50x positive transfer on a toy problem-set.

연구 동기 및 목표

• 유사한 강화학습 작업 간의 공유 표현이 표본 복잡도를 극적으로 감소시킬 수 있는지 조사하기 위해.
• 공유 특징 인코더와 같은 아키텍처 사전 지식이 딥 강화학습에서 강력한 정방향 전이를 가능하게 할 수 있음을 입증하기 위해.
• 전이 학습 연구를 촉진하기 위해 자동으로 게임 변형을 생성하는 프레임워크를 제안하기 위해.
• 현재 딥 강화학습 알고리즘이 수백만 단계가 필요로 하는 데 반해 인간 수준의 표본 효율성과의 격차를 메우기 위해.
• 신경망이 명시적인 세계 모델 없이 환경의 구조적 사전 지식을 아키텍처에 통합함으로써 모델 인식 학습의 가능성을 탐색하기 위해.

제안 방법

• 작성자들은 공유 구조적 특성(예: 오브제 타입, 보상 메커니즘 등)을 갖는 관련된 격자 세계 환경 세트를 생성하여 전이 학습을 가능하게 한다.
• 모든 변형에서 공유된 컨볼루션 특징 인코더를 갖는 딥 Q-네트워크를 훈련시며, 공통 표현을 학습하기 위해 매개변수 공유를 강제한다.
• 훈련 안정성과 표본 효율성을 향상시키기 위해 이중 DQN, 경험 리플레이 및 타겟 네트워크를 사용한다.
• 전이 성능를 평가하기 위해 새로운 작업에서 공유 인코더를 미세조정하고 목표 성능에 도달하는 데 필요한 훈련 단계 수를 측정한다.
• 환경의 알려진 구조적 특성(예: 주의 맵, 의미론적 보상 구성 요소 등)을 반영하도록 네트워크 아키텍처를 설계하여 아키텍처 사전 지식을 통합한다.
• 데이터 효율성을 향상시키고 분포 이탈을 줄이기 위해 오프라인, 배치 기반 학습을 사용한다.

실험 결과

연구 질문

• RQ1 아키텍처 사전 지식이 관련된 환경에서 강화학습을 위한 훈련 단계 수를 극적으로 줄일 수 있는가?
• RQ2 공유 표현을 통한 전이 학습이 딥 강화학습에서 표본 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 자동 게임 세트 생성이 구조화된 환경 간의 정방향 전이를 얼마나 효과적으로 가능하게 하는가?
• RQ4 명시적인 세계 모델 없이도 환경의 구조적 사전 지식을 아키텍처에 통합한 모델 인식 아키텍처가 인간 수준의 표본 효율성을 달성할 수 있는가?
• RQ5 관찰된 50배의 표본 효율성 향상은 아키텍처 사전 지식 때문인가, 아니면 단지 가중치 초기화나 하이퍼파라미터 튜닝 때문인가?

주요 결과

• 제안된 방법은 표준 DQN에 비해 자동 생성된 격자 세계 작업 세트에서 훈련 단계 수를 50배 감소시켰으며, 강력한 정방향 전이를 입증하였다.
• 유사하지만 동일하지 않은 작업 간에도 공유된 컨볼루션 특징 인코더를 사용함으로써 표본 효율성 향상이 크게 이루어졌다.
• 주의 및 보상 구조의 공유 표현과 같은 아키텍처 사전 지식이 학습 복잡도를 수십 배에서 수백 배 감소시킬 수 있음을 결과가 보여주었다.
• 일반적으로 몇 퍼센트의 성능 향상이 의미 있는 것으로 간주되는 전이 학습 벤치마크에 비해 이 방법은 수십 배의 성능 향상을 달성하여 뛰어난 성능을 보였다.
• 아키텍처 사전 지식을 갖춘 모델의 성능는 인간 수준의 학습 효율성에 가까워졌으며, 이는 이러한 사전 지식이 복잡한 작업에서 표본 효율적인 강화학습을 달성하는 데 핵심이 될 수 있음을 시사한다.
• 저자는 신경망이 환경의 구조적 지식을 아키텍처에 통합함으로써 모델 인식 학습이 인간 수준의 표본 효율성에 도달하는 데 실현 가능한 길임을 결론지었다.