[論文レビュー] Classifying Options for Deep Reinforcement Learning

Kai Arulkumaran, Nat Dilokthanakul+2 more|arXiv (Cornell University)|Apr 27, 2016

Reinforcement Learning in Robotics参考文献 13被引用数 18

ひとこと要約

本稿では、複数の『オプションヘッド』と監視ネットワークを用いてオプションフレームワークを深層Qネットワーク（DQN）に統合する階層的深層強化学習手法を提案する。明示的な構造的オプションヘッドは、負の転送を伴うタスクにおいてサンプルの複雑さを低減するが、正の転送設定でも性能を維持する。特にモデル容量が限られた状況でも同様の結果を示す。

ABSTRACT

In this paper we combine one method for hierarchical reinforcement learning - the options framework - with deep Q-networks (DQNs) through the use of different "option heads" on the policy network, and a supervisory network for choosing between the different options. We utilise our setup to investigate the effects of architectural constraints in subtasks with positive and negative transfer, across a range of network capacities. We empirically show that our augmented DQN has lower sample complexity when simultaneously learning subtasks with negative transfer, without degrading performance when learning subtasks with positive transfer.

研究の動機と目的

• 深層強化学習においてオプションを明示的に構築することで、サンプル効率性と一般化性能が向上するかを調査すること。
• 階層的強化学習（オプションフレームワークを介して）のアーキテクチャ的制約が、深層Qネットワークにおける学習に与える影響を調査すること。
• サブタスク分解としてのドメイン知識が、訓練効率性と性能に与える影響を評価すること。
• モデル容量を変化させた状況下で、オプションヘッドを備えたDQNと標準DQNおよび半分DQNベースラインの性能を比較すること。
• オプションフレームワークからの構造的事前知識が、特にサブタスクが競合する場合に、マルチサブタスク学習における干渉を低減できるかを評価すること。

提案手法

• 本手法は、標準DQNを拡張し、共有の畳み込み層の上に、それぞれ異なるサブタスクを担当する複数のオプションヘッドを追加する。
• 推論時に各状態でどのオプション（サブタスク）を選択すべきかを予測するための監視ネットワークを導入する。
• 各オプションヘッドは、それぞれのサブタスク専用の別々のQ関数を学習し、畳み込みバックボーンによって共有された特徴を抽出する。
• 各ヘッドのQ学習損失と監視ネットワークの交差エントロピー損失を組み合わせた総合損失関数を用いてネットワークを訓練する。
• エージェントが色のついたボールを捕らえるか回避する必要がある、独自の環境で評価する。これは、正または負の転送を伴うサブタスクを表している。
• モデル容量を体系的に変化させ、その影響を性能に与える影響を調査する。標準DQN、半分DQN、および提案手法のDQNにオプションヘッドを備えたバージョンを比較する。

実験結果

リサーチクエスチョン

• RQ1 オプションヘッドによるサブタスクの明示的構造化が、深層強化学習におけるサンプル効率性を向上させるか？
• RQ2 サブタスク間に負の転送が存在する場合、標準DQNとオプションヘッドを備えたDQNの両者における学習にどのような影響を与えるか？
• RQ3 モデル容量が、標準DQNとオプション構造付きDQNの性能差に及ぼす影響の程度はどの程度か？
• RQ4 オプションフレームワークからのアーキテクチャ的制約が、競合するサブタスク間の干渉を低減できるか、かつ互換性のあるサブタスクの性能を劣化させないか？
• RQ5 監視ネットワークがオプションを効果的に割り当てる能力を適切に学習しているか？また、これはポリシー収束を速める要因となっているか？

主な発見

• 負の転送を伴うサブタスクを学習する際、オプションヘッドを備えたDQNは、標準DQNに比べて顕著に低いサンプル複雑さを達成する。特にモデル容量が低い状況で顕著である。
• 正の転送設定下では、オプションヘッドを備えたDQNの性能は標準DQNと同等であり、アーキテクチャの変更にもかかわらず劣化がないことが示された。
• モデル容量が増加するにつれて、オプションヘッドを備えたDQNと標準DQNの性能差は縮小する。これは、容量が最終的にアーキテクチャ的制限を打ち負かすことを示している。
• 半分DQNベースライン（ヘッド容量を半分にした）は、完全なDQNにオプションヘッドを備えたものと同等のポリシー性能に収束するが、より多くの訓練ステップを要する。これは、構造的事前知識が学習効率を向上させることを確認している。
• 共有された畳み込み層は一般化された特徴（例：ボールの運動、パドルの位置）を学習するが、各オプションヘッドはボールの捕らえ方や回避行動に特化しており、特徴とポリシーの分離が効果的に行われていることが示された。
• 監視ネットワークは、オラクルが存在しない状況でも、素早く適切なオプションに状態を分類する能力を学習している。これは、オプション割り当てタスクが単純で、うまく学習されていることを示唆している。