[論文レビュー] Multi-Objective Deep Q-Learning with Subsumption Architecture

Tomasz Tajmajer|arXiv (Cornell University)|Apr 21, 2017

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

本論文は、Brooksのサブスミッションアーキテクチャにインspiredされた信号抑制を用いて、個々の目的のための別個のDeep Q-Network（DQN）を統合する、複数目的の深層強化学習フレームワークを提案する。この手法により、モジュラーで交換可能な行動モジュールを実現し、それらが1つの行動を共同で生成する。2次元の視覚的環境において、モノリシックなDQNと同等の性能を達成するとともに、分離学習と動的かつ優先順位の高い目的の設定を可能にする。

ABSTRACT

In this work we present a method for using Deep Q-Networks (DQNs) in multi-objective tasks. Deep Q-Networks provide remarkable performance in single objective tasks learning from high-level visual perception. However, in many scenarios (e.g in robotics), the agent needs to pursue multiple objectives simultaneously. We propose an architecture in which separate DQNs are used to control the agent's behaviour with respect to particular objectives. In this architecture we use signal suppression, known from the (Brooks) subsumption architecture, to combine outputs of several DQNs into a single action. Our architecture enables the decomposition of the agent's behaviour into controllable and replaceable sub-behaviours learned by distinct modules. To evaluate our solution we used a game-like simulator in which an agent - provided with high-level visual input - pursues multiple objectives in a 2D world. Our solution provides benefits of modularity, while its performance is comparable to the monolithic approach.

研究の動機と目的

• 複雑で視覚的に豊かな環境において、エージェントが同時に複数の目的を達成するのを支援する課題に対処すること。
• 複数目的のタスクを独立した学習可能なDQNモジュールに分解することで、モジュラーな行動設計を可能にすること。
• 統合的かつモノリシックなDQNアプローチと同等の高い性能を維持しつつ、保守性と適応性を向上させること。
• サブスミッションアーキテクチャからの信号抑制を統合し、同時に実行される目的同士の衝突を解消すること。

提案手法

• アーキテクチャは、それぞれが特定の目的を最適化することを目的とした複数の独立したDQNを採用する。
• 各DQNは高レベルの視覚的入力を処理し、それぞれの目的に特化した行動ベクトルを出力する。
• 信号抑制が適用され、優先度の高いDQNの出力を優先することで、低優先度の行動を効果的に抑制する。
• 優先度に基づいた統合メカニズムにより、高優先度の行動が有効な場合に低優先度の行動を抑制する形で最終的な行動が選択される。
• 個々のDQNモジュールの有効・無効切り替えを可能にすることで、目的の動的再構成が可能である。
• 本手法は、連続的な視覚的観測と複数の同時達成可能な目標を有する2次元ゲームライクなシミュレータで評価されている。

実験結果

リサーチクエスチョン

• RQ1 信号抑制を用いたモジュラーDQNアーキテクチャは、視覚的強化学習設定において複数の目的を効果的に管理できるか？
• RQ2 提案された複数目的DQNの性能は、同じ環境下でのモノリシックDQNと比べてどの程度か？
• RQ3 個々の行動モジュールを、全体のエージェント性能に影響を与えることなく交換または再構成できるか、その程度はいかほどか？
• RQ4 サブスミッションアーキテクチャからの信号抑制は、複数のDQNが生成する矛盾する行動をどの程度うまく統合できるか？
• RQ5 モularityは、学習効率を損なわせることなく、複数目的ポリシーの解釈可能性と保守性を向上させるか？

主な発見

• 提案されたアーキテクチャは、複数目的の2次元シミュレータにおいて、モノリシックDQNと同等の性能を達成した。
• モジュラーな行動設計により、個々の目的の独立した学習と交換が可能であり、システム全体の再学習を必要としない。
• 信号抑制は、高優先度の目的を優先することで、行動の衝突を効果的に解消し、階層的制御を模倣した。
• モジュールの動的有効化により、目的の優先順位の変更に対してもシステムは頑健であることが示された。
• 個別のDQNへの分解により、学習済み行動の解釈性が向上した一方で、競争力のある学習効率を維持した。