[論文レビュー] Hierarchical Subtask Discovery With Non-Negative Matrix Factorization

Adam Christopher Earle, Andrew Saxe+1 more|arXiv (Cornell University)|Aug 1, 2017

Machine Learning and Data Classification参考文献 15被引用数 5

ひとこと要約

本稿では、マルチタスク線形可解マルコフ決定過程（MLMDP）フレームワークを活用して、強化学習における階層的サブタスク発見のための非負値行列分解（NMF）ベースの手法を提案する。この手法は、状態空間全体にわたり直感的で分散型の部分目標を表す低ランクで非負の基本タスクを発見し、事前に定義されたオプションや単一目的のサブタスクを必要とせずに、柔軟で多段階の階層的計画を可能にする。本手法は、タスク集合に適応する質的に意味のある分解を学習でき、より深い階層構造を得るために繰り返し適用可能である。

ABSTRACT

Hierarchical reinforcement learning methods offer a powerful means of planning flexible behavior in complicated domains. However, learning an appropriate hierarchical decomposition of a domain into subtasks remains a substantial challenge. We present a novel algorithm for subtask discovery, based on the recently introduced multitask linearly-solvable Markov decision process (MLMDP) framework. The MLMDP can perform never-before-seen tasks by representing them as a linear combination of a previously learned basis set of tasks. In this setting, the subtask discovery problem can naturally be posed as finding an optimal low-rank approximation of the set of tasks the agent will face in a domain. We use non-negative matrix factorization to discover this minimal basis set of tasks, and show that the technique learns intuitive decompositions in a variety of domains. Our method has several qualitatively desirable features: it is not limited to learning subtasks with single goal states, instead learning distributed patterns of preferred states; it learns qualitatively different hierarchical decompositions in the same domain depending on the ensemble of tasks the agent will face; and it may be straightforwardly iterated to obtain deeper hierarchical decompositions.

研究の動機と目的

• 複雑な強化学習領域において、手動設計を必要とせずに意味的で再利用可能なサブタスクを自動的に発見する課題に対処すること。
• 幅広い可能性のあるタスクをカバーする最小限のサブタスクの基本集合を学習することで、階層的強化学習のスケーラビリティを向上させること。
• 単一目的のオプションではなく、分散型の多状態部分目標を学習する手法を開発し、柔軟性と転移性を向上させること。
• 抽象化の反復的精錬を可能にし、より深い階層的構造を生成することで、多段階計画を可能にすること。
• サブタスクの同等性を形式的に定義し、抽象化の質を評価可能な、解析的に取り扱いやすいフレームワークを提供すること。

提案手法

• マルチタスクLMDPフレームワークにおいて、行動基底の低ランク近似を求める問題としてサブタスク発見問題を定式化する。
• 非負値行列分解（NMF）を適用して、タスク行列を非負の基本行列Dと係数行列Wに分解し、物理的に解釈可能な加法的サブタスク表現を保証する。
• MLMDPフレームワークを用いて、タスクを基本タスクの線形結合としてモデル化し、指数化されたコスト・トゥ・ゴール関数を介した最適ポリシー合成を可能にする。
• 最適な分解ランクkを特定するために、正規化された近似誤差指標を用い、『へそ切り』的挙動により利回りの減少を特定する。
• 状態表現のスイッチング測度g(s)を導入し、領域間の境界状態（例：ドアウェイ）を特定する。これにより、従来のサブタスク抽象化と双対的関係が明らかになる。
• 基本空間における行列距離に基づく擬似同等関係をサブタスク間で定義し、異なるサブタスク集合の正式な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非負値行列分解は、共有環境における多様なタスク集合から、最小限で解釈可能なサブタスクの基本集合を効果的に発見できるか？
• RQ2 本手法のサブタスク発見は、異なるタスク集合にどのように適応するか？ そして、得られる抽象化にどのような定性的な差が生じるか？
• RQ3 本手法を繰り返し適用してより深い階層的構造を生成できるか？ また、高レベルのサブタスクと低レベルのサブタスクの行動にどのような違いが現れるか？
• RQ4 与えられたドメインにおける最適なサブタスク数（ランクk）は何か？ そして、近似誤差解析を用いて自動的に特定可能か？
• RQ5 サブタスクの同等性はどのように形式的に定義・測定できるか？ また、これにより学習された抽象化の構造にどのような洞察が得られるか？

主な発見

• 本手法は、部屋を移動する、またはグリッドワールド内の特定の場所に到達するといった、意味的で直感的な行動パターンに対応する分散型サブタスクを発見する。
• TAXIドメインでは、最適な分解ランクがk=5であることが判明し、これはすべての乗客位置配置を表現するために必要な最小の自由度数に一致する。
• 正規化された近似誤差はk=5で明確な『へそ切り』的挙動を示し、このランクを超えて利回りが減少することを確認し、本手法の自動ランク選択の妥当性を裏付けた。
• より深い階層レベルで学習されたサブタスクは、広範囲にわたる状態カバレッジを示す一方で、低レベルのサブタスクは局所的で細分化された行動を示し、効果的な階層的抽象化が達成されていることを示している。
• 本手法は、表現スイッチングを通じてドアウェイを境界状態として特定し、従来のサブタスク発見手法が注目する遷移点と自然な双対性を示している。
• 擬似同等性測度により、異なる分解が同等またはほぼ同等の行動的抽象化をもたらすことが可能であることが示され、サブタスク集合の正式な比較が可能になった。