[論文レビュー] Separation of Concerns in Reinforcement Learning

Harm van Seijen, Mehdi Fatemi+2 more|arXiv (Cornell University)|Dec 15, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 7

ひとこと要約

この論文は強化学習におけるConcernの分離（SoC）フレームワークを導入し、単一エージェントのタスクを、それぞれが異なる報酬関数を持つ複数の専門的エージェントに分解する。性能目標と学習目標を分離することで、高速な学習と効果的な知識の転送を可能にし、Pac-Boyのような困難な環境において、単一エージェント手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a framework for solving a single-agent task by using multiple agents, each focusing on different aspects of the task. This approach has two main advantages: 1) it allows for training specialized agents on different parts of the task, and 2) it provides a new way to transfer knowledge, by transferring trained agents. Our framework generalizes the traditional hierarchical decomposition, in which, at any moment in time, a single agent has control until it has solved its particular subtask. We illustrate our framework with empirical experiments on two domains.

研究の動機と目的

• 報酬が疎な強化学習環境における学習の遅さという課題に対処すること。
• 単一エージェントタスクを複数の専門的エージェントに分解することで、学習効率と性能がどのように向上するかを調査すること。
• 異なるタスクや設定間で訓練済みエージェントを再利用することで、知識の転送を可能にすること。
• 非協力的マルチエージェントシステムにおける安定的かつ独立した学習が成立する条件を分析すること。
• 学習目標と性能目標を分離することで、複雑なタスクにおけるより優れた方策の発見が可能になることの裏付けを得ること。

提案手法

• フレームワークは、タスクの特定の側面に特化した異なる報酬関数で訓練される複数のエージェントを用いる。
• エージェントは非協力的であり、それぞれが独自の学習目標（報酬関数）を持ち、全体の性能指標とは明確に区別される。
• 階層的強化学習を一般化し、厳密な階層的制御ではなく、並列的かつ独立した学習を可能にする。
• 独立学習の安定性条件は、報酬関数の構造とエージェント間の相互作用に基づいて導出される。
• 実験的評価では、探索と活用のバランスをとるために、クリッピングおよびスケーリングされた内部報酬を用いた深層Qネットワーク（DQN）が使用される。
• 知識の転送は、エージェントをサブタスクで事前学習し、それを全タスクに転送することで評価される。

実験結果

リサーチクエスチョン

• RQ1 学習目標と性能目標を分離することで、報酬が疎な強化学習タスクにおけるサンプル効率が向上するか？
• RQ2 複数の非協力的エージェントが共通のタスクに貢献しつつ、安定的かつ独立して学習できる条件は何か？
• RQ3 SoCフレームワークは、単一エージェントDQNおよび階層的強化学習と比較して、収束速度と最終的性能においてどのように異なるか？
• RQ4 事前学習済みエージェントを新しいタスクでどれほど効果的に再利用できるか？
• RQ5 このフレームワークは、複雑でNP完全に類似した環境において、最先端の単一エージェント手法を上回ることができるか？

主な発見

• SoCフレームワークはPac-Boy環境において、単一エージェントDQNよりも収束が速く、事前学習により明確な初期段階の性能向上が得られた。
• DQN-scaledとDQN-clippedエージェントは類似した最終的性能に到達したが、DQN-scaledは負の報酬に対して高い感受性を示し、より慎重な行動を示した。
• フルーツ収集とゴースト回避に基づく内部報酬の使用により、タスクが管理可能な部分目標に効果的に分解された。
• ゴーストエージェントおよびフルーツエージェントの個別的事前学習が、全ゲームに転送された際の学習を顕著に加速させ、効果的な知識の転送を示した。
• SoCモデルは、困難でNP完全に類似したタスクにおいて、単一エージェントの最先端手法を上回り、複雑なドメインにおける有効性を裏付けた。
• 報酬関数の調整により、エージェントが他のエージェントに従う程度を変更可能であり、完全な協力なしに柔軟な協調が可能になった。