[論文レビュー] DOM-Q-NET: Grounded RL on Structured Language

Sheng Jia, Jamie Kiros+1 more|arXiv (Cornell University)|Feb 19, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 9

ひとこと要約

DOM-Q-NET は、構造化された言語を用いたウェブナビゲーションのための要因分解された Q ネットワークアーキテクチャを提案する。グラフニューラルネットワークとゴールアテンションを組み合わせることで、ミニマム・ウォブ（MiniWoB）ベンチマークでエキスパートを必要としない、サンプル効率の高い強化学習を実現する。クリック、入力、モード行動を別々の MLP ヘッドと階層的な DOM 表現を介して同時に学習することで、マルチタスク学習において最先端の性能を達成し、2倍のサンプル効率向上を実現する。

ABSTRACT

Building agents to interact with the web would allow for significant improvements in knowledge understanding and representation learning. However, web navigation tasks are difficult for current deep reinforcement learning (RL) models due to the large discrete action space and the varying number of actions between the states. In this work, we introduce DOM-Q-NET, a novel architecture for RL-based web navigation to address both of these problems. It parametrizes Q functions with separate networks for different action categories: clicking a DOM element and typing a string input. Our model utilizes a graph neural network to represent the tree-structured HTML of a standard web page. We demonstrate the capabilities of our model on the MiniWoB environment where we can match or outperform existing work without the use of expert demonstrations. Furthermore, we show 2x improvements in sample efficiency when training in the multi-task setting, allowing our model to transfer learned behaviours across tasks.

研究の動機と目的

• 深層強化学習を用いたウェブナビゲーションにおける、大きな可変的な行動空間と疎い報酬の課題に対処すること。
• DOMツリーを用いて構造化されたウェブインターフェースをモデル化することで、エキスパートのデモンストレーションを必要としないエンドツーエンドの学習を可能にすること。
• マルチタスク学習を通じて、さまざまなウェブタスク間での転移学習を可能にするとともに、サンプル効率を向上させること。
• ウェブインタラクションのための状態、行動、ゴール表現を同時に最適化できる完全微分可能なアーキテクチャの開発。
• 現実世界のウェブ環境において、クリック、入力、モード行動のための要因分解された Q 関数パラメータ化の有効性を実証すること。

提案手法

• ウェブページの木構造的 DOM を符号化するために、グラフニューラルネットワーク（GNN）を用い、局所的、隣接、グローバルな表現を捉える。
• クリック、入力、モードの異なる行動カテゴリの Q 関数をパラメータ化するために、3つの別々の多層パーセプトロン（MLP）を採用する。
• タスク目標に応じて関連する DOM 要素に動的にアテンションを向けるために、ゴールアテンションを統合し、マルチタスク設定における一般化性能を向上させる。
• ニューラルメッセージパッシングとリードアウト機構を用いて、DOM ツリー全体でノード特徴を集約し、状態表現を生成する。
• 経験再生と優先順位付き経験再生を用いた深層強化学習により、全アーキテクチャをエンドツーエンドで学習する。
• 学習の高速化を図るため、効率的な優先順位付き経験再生を実現するためのセグメントツリーを用いる。

実験結果

リサーチクエスチョン

• RQ1 エキスパートのデモンストレーションを一切使用せずに、深層強化学習エージェントが複雑なウェブナビゲーションタスクを解けるか？
• RQ2 要因分解された Q 関数パラメータ化は、大きな行動空間を有するウェブナビゲーションにおいて、どのようにサンプル効率を向上させるか？
• RQ3 マルチタスク学習は、多様なウェブタスク間で行動を転送するために、どの程度有効か？
• RQ4 ゴールアテンションは、異なるタスク目標下で、関連する DOM 要素にエージェントが注目するのをどの程度効果的に導くか？
• RQ5 GNN を用いた DOM 符号化における、局所的、隣接、グローバルな表現の各々が、タスクパフォーマンスに果たす寄与度は何か？

主な発見

• DOM-Q-NET は、エキスパートデモンストレーションを一切使用せず、MiniWoB ベンチマークで既存手法と同等またはそれを上回る性能を達成する。
• マルチタスク学習において、11のタスクを実行するために必要な総フレーム数を 477,000 から 319,000 に削減し、2倍のサンプル効率向上を達成した。
• アブレーションスタディの結果、隣接モジュールを省略すると、クリック・チェックボックスなどのタスクで失敗するなど、その必要性が明確に示された。
• ゴールアテンションはマルチタスク設定において顕著なサンプル効率の向上をもたらすが、シングルタスクのシナリオではその恩恵がやや限定的であるため、クロスタスク一般化に果たす役割が顕著である。
• エージェントはタスク間で行動を転移を成功させ、特に簡単なタスクで事前学習したマルチタスクエージェントは、難しいタスク（例：ソーシャルメディア、検索エンジン）をより効率的に解けるようになった。
• グローバルおよびローカルの GNN モジュールは補完的な表現を提供し、グローバルモジュールが高レベルの理解を、ローカルモジュールが詳細な特徴を捉える。