[논문 리뷰] Many-Goals Reinforcement Learning

Vivek Veeriah, Junhyuk Oh외 1명|arXiv (Cornell University)|2018. 06. 22.

Reinforcement Learning in Robotics참고 문헌 17인용 수 29

한 줄 요약

이 논문은 깊이 있는 신경망을 사용한 다목적 강화학습(RL)을 제안하여 시각적 RL 환경에서 비지도 마스터리, 사전 훈련 및 보조 작업 학습을 가능하게 한다. 공유된 신경망을 사용해 경험 전이마다 여러 목표에 대해 Q-값을 갱신함으로써, 49개의 Atarі 게임에서 A2C 및 기타 기준 모델보다 뛰어난 성능을 달성하였으며, 보조 작업 설정에서 중앙값으로 42.3%의 인간 정규화 점수를 기록하고 사전 훈련 및 비지도 마스터리에서 상당한 성과 향상을 이룩하였다.

ABSTRACT

All-goals updating exploits the off-policy nature of Q-learning to update all possible goals an agent could have from each transition in the world, and was introduced into Reinforcement Learning (RL) by Kaelbling (1993). In prior work this was mostly explored in small-state RL problems that allowed tabular representations and where all possible goals could be explicitly enumerated and learned separately. In this paper we empirically explore 3 different extensions of the idea of updating many (instead of all) goals in the context of RL with deep neural networks (or DeepRL for short). First, in a direct adaptation of Kaelbling's approach we explore if many-goals updating can be used to achieve mastery in non-tabular visual-observation domains. Second, we explore whether many-goals updating can be used to pre-train a network to subsequently learn faster and better on a single main task of interest. Third, we explore whether many-goals updating can be used to provide auxiliary task updates in training a network to learn faster and better on a single main task of interest. We provide comparisons to baselines for each of the 3 extensions.

연구 동기 및 목표

• 깊이 있는 신경망이 명시적인 보상 설계나 사전 정의된 주요 작업 없이도 새로운 목표에 대해 일반화된 마스터리를 달성할 수 있는가를 조사하는 것.
• 비지도 다목적 학습이 주요 RL 작업에 대한 성능 향상과 가속화를 위해 효과적인 사전 훈련으로 기능할 수 있는가 평가하는 것.
• 기존의 보조 방법(예: 픽셀 제어 및 보상 예측)과 비교해 다목적 업데이트를 보조 작업으로 사용할 경우 표현 학습 및 주요 작업 성능 향상에 기여하는가 평가하는 것.
• 원래 표본화된 RL에 국한되어 있던 Kaelbling의 모든 목표 업데이트 프레임워크를, 목표 집합이 알려지지 않은 시각적이고 연속적인 관측 공간에서 딥 RL로 확장하는 것.
• 작업 특화 보상 함수 없이도 오프-폴리시 다목적 업데이트가 강력하고 일반화 가능한 정책을 도출할 수 있는가 여부를 규명하는 것.

제안 방법

• 모든 목표에 대해 공유된 신경망을 사용해 Kaelbling의 오프-폴리시 모든 목표 업데이트를 딥 RL에 적응시키며, 단일 Q-네트워크를 사용해 다수의 목표에 대한 행동가치를 추정한다.
• 비지도 마스터리의 경우, 외부 보상 없이 경험 트레이젝터리의 마지막 프레임에서 유도된 모든 목표에 대해 Q-값을 갱신하는 공유 Q-네트워크를 훈련한다.
• 사전 훈련의 경우, 오프-폴리시 업데이트를 통해 다수의 목표로 에이전트를 훈련한 후, 온-폴리시 A2C를 사용해 주요 작업에 대해 사전 훈련된 네트워크를 미세 조정한다.
• 보조 작업의 경우, 주요 A2C 목표와 다목적 Q-학습 목표를 함께 최적화하며, 목표로는 샘플링된 트레이젝터리의 최종 관측값을 설정한다.
• 재플리 버퍼를 사용해 K개의 최상의 에피소드를 저장하고, 길이 n의 트레이젝터리를 샘플링하여 액터-크리틱 및 오프-폴리시 Q-학습 목표의 조합을 통해 다목적 Q-네트워크를 갱신한다.
• 검증용 7개의 Atarі 게임 세트에서 하이퍼파라미터 β(다목적 손실의 가중치)를 0.02로 튜닝한 후, 이 값은 49개 게임 전역에 동일하게 적용한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 다목적 업데이트를 통해 훈련된 딥 신경망이 명시적인 보상이나 주요 작업 없이도 시각적 RL 환경에서 비지도 마스터리를 달성할 수 있는가?
• RQ2 다목적 업데이트를 통한 사전 훈련이 보상 예측 사전 훈련이나 사전 훈련 없음 대비 주요 RL 작업의 성능 향상에 기여하는가?
• RQ3 다목적 업데이트가 표현 학습 및 주요 작업 성능 향상에 효과적인 보조 작업으로 기능할 수 있는가?
• RQ4 Atarі 환경에서 다목적 학습의 성능이 픽셀 제어 및 보상 예측과 같은 최신 보조 작업 방법과 비교해 어떻게 되는가?
• RQ5 하이퍼파라미터 β를 통해 주요 작업 목표와 다목적 보조 목표 간의 최적의 균형은 무엇인가?

주요 결과

• 비지도 마스터리 설정에서, 외부 보상이나 주요 작업 없이도 일반화만으로도 보류된 목표 집합에서 약 60%의 마스터리를 달성하였다.
• 사전 훈련으로 사용되었을 경우, 다목적 학습은 사전 훈련 없음 및 보상 예측 사전 훈련보다 뚜렷이 뛰어난 성능을 보였으며, 49개 Atarі 게임의 중앙값 성능을 향상시켰다.
• 보조 작업 설정에서 다목적 학습은 49개 Atarі 게임에서 중앙값으로 42.3%의 인간 정규화 점수를 기록했으며, A2C(32.8%), 픽셀 제어(34.6%), 보상 예측(35.2%) 기준 모델을 모두 초월하였다.
• 사전 훈련 및 보조 작업 실험에서 대부분의 게임에서 일관된 향상이 나타나, 더 나은 표현 학습이 이루어졌음을 시사한다.
• 주요 작업과 다목적 업데이트 목표를 조합하는 데 최적의 하이퍼파라미터 β는 검증용 7개 게임 세트에서 0.02로 도출되었으며, 이 값은 나머지 42개 게임으로도 잘 일반화되었다.
• 결과적으로 다목적 업데이트가 딥 RL에서 효과적인 비지도 마스터리, 효율적인 사전 훈련 및 강력한 보조 학습을 가능하게 하며, 여러 기준 모델 대비 뚜렷한 경험적 성과 향상을 보여주었다.