[논문 리뷰] Separation of Concerns in Reinforcement Learning

Harm van Seijen, Mehdi Fatemi외 2명|arXiv (Cornell University)|2016. 12. 15.

Reinforcement Learning in Robotics참고 문헌 27인용 수 7

한 줄 요약

이 논문은 강화학습에서 책임 분리(SoC) 프레임워크를 소개하며, 단일 에이전트 작업을 각기 다른 보상 함수를 가진 여러 전문화된 에이전트로 분해한다. 성능 목표와 학습 목표를 분리함으로써 더 빠른 훈련과 효과적인 지식 전이를 가능하게 하여, 팩-보이와 같은 도전적인 환경에서 단일 에이전트 방법을 능가한다.

ABSTRACT

In this paper, we propose a framework for solving a single-agent task by using multiple agents, each focusing on different aspects of the task. This approach has two main advantages: 1) it allows for training specialized agents on different parts of the task, and 2) it provides a new way to transfer knowledge, by transferring trained agents. Our framework generalizes the traditional hierarchical decomposition, in which, at any moment in time, a single agent has control until it has solved its particular subtask. We illustrate our framework with empirical experiments on two domains.

연구 동기 및 목표

• 희박 보상 강화학습 환경에서의 느린 학습 문제를 해결하기 위해.
• 단일 에이전트 작업을 여러 전문화된 에이전트로 분해함으로써 훈련 효율성과 성능 향상을 어떻게 달성할 수 있는지 탐색하기 위해.
• 다른 작업이나 설정으로의 전이를 위해 훈련된 에이전트를 재사용함으로써 지식 전이를 가능하게 하기 위해.
• 비협력적 다에이전트 시스템에서 안정적이고 독립적인 학습이 이루어지는 조건을 분석하기 위해.
• 학습 목표를 성능 목표에서 분리함으로써 복잡한 과제에서 더 나은 정책 탐색이 가능하다는 것을 입증하기 위해.

제안 방법

• 프레임워크는 각기 다른 보상 함수를 사용해 특정 과제 측면에 맞추어 훈련되는 다수의 에이전트를 사용한다.
• 에이전트들은 비협력적이다. 즉, 각기 다른 학습 목표(보상 함수)를 가지며, 전체 성능 지표와는 별개이다.
• 엄격한 계층적 제어가 아닌 동시적이고 독립적인 학습을 允가하는 방식으로, 계층적 강화학습을 일반화한다.
• 독립적 학습의 안정성 조건은 보상 함수의 구조와 에이전트 간 상호작용에 기반하여 유도된다.
• 실험적 평가에서는 탐색과 이용의 균형을 위해 클리핑 및 스케일링된 내재 보상이 적용된 딥 Q네트워크(DQN)를 사용한다.
• 지식 전이는 하위 과제에서 에이전트를 사전 훈련한 후 전체 과제로 이전함으로써 평가된다.

실험 결과

연구 질문

• RQ1 학습 목표를 성능 목표에서 분리함으로써 희박 보상 RL 과제에서 샘플 효율성이 향상될 수 있는가?
• RQ2 다수의 비협력적 에이전트가 공통 과제에 기여하면서 안정적이고 독립적으로 학습할 수 있는 조건은 무엇인가?
• RQ3 수렴 속도와 최종 성능 측면에서 SoC 프레임워크는 단일 에이전트 DQN과 계층적 RL에 비해 어떻게 비교되는가?
• RQ4 사전 훈련된 에이전트가 새로운 과제에서 학습을 가속화하는 데 얼마나 효과적으로 재사용될 수 있는가?
• RQ5 이 프레임워크는 복잡하고 NP-완전에 가까운 환경에서 최신 단일 에이전트 방법을 능가할 수 있는가?

주요 결과

• SoC 프레임워크는 팩-보이 환경에서 단일 에이전트 DQN보다 더 빠른 수렴을 달성했으며, 사전 훈련이 초기 성능 향상에 뚜렷한 기여를 하였다.
• DQN-스케일링 및 DQN-클리핑 에이전트는 유사한 최종 성능 수준에 도달했지만, DQN-스케일링은 부정적 보상에 더 민감하여 더 경계심 있는 행동을 보였다.
• 과일 수집과 고스트 회피 기반의 내재 보상 사용은 과제를 관리 가능한 하위목표로 효과적으로 분해하는 데 기여하였다.
• 고스트 및 과일 에이전트를 개별적으로 사전 훈련한 결과, 전체 게임으로 이전했을 때 학습이 크게 가속화되어 효과적인 지식 전이가 입증되었다.
• SoC 모델은 도전적인 NP-완전에 가까운 과제에서 단일 에이전트 최신 기법을 능가했으며, 복잡한 도메인에서의 효과성을 입증하였다.
• 에이전트의 보상 함수를 조정함으로써 서로를 듣는 정도를 다양하게 조절할 수 있어, 완전한 협력 없이도 탄력적인 조율이 가능하다.