[論文レビュー] Extracting Action Sequences from Texts Based on Deep Reinforcement Learning

Wenfeng Feng, Hankz Hankui Zhuo+1 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 24被引用数 9

ひとこと要約

本稿では、事前に定義されたアクションテンプレートや既知のアクション集合がなくても、自由形式の自然言語テキストからアクションシーケンスを抽出するための深層強化学習フレームワークEASDRLを提案する。語の選択をアクションとし、テキストの文脈を状態としてモデル化することで、EASDRLは深層Qネットワークを用いて、必須のアクション、オプションのアクション、排他的なアクションを選択する方策を学習し、複数のデータセットで最先端の性能を達成するとともに、オンラインのヒューマンインザループ学習においても高い頑健性を示した。

ABSTRACT

Extracting action sequences from natural language texts is challenging, as it requires commonsense inferences based on world knowledge. Although there has been work on extracting action scripts, instructions, navigation actions, etc., they require that either the set of candidate actions be provided in advance, or that action descriptions are restricted to a specific form, e.g., description templates. In this paper, we aim to extract action sequences from texts in free natural language, i.e., without any restricted templates, provided the candidate set of actions is unknown. We propose to extract action sequences from texts based on the deep reinforcement learning framework. Specifically, we view "selecting" or "eliminating" words from texts as "actions", and the texts associated with actions as "states". We then build Q-networks to learn the policy of extracting actions and extract plans from the labeled texts. We demonstrate the effectiveness of our approach on several datasets with comparison to state-of-the-art approaches, including online experiments interacting with humans.

研究の動機と目的

• 事前に定義されたテンプレートや既知のアクション集合が存在しない自然言語テキストから意味的なアクションシーケンスを抽出する課題に対処すること。
• 強化学習における文脈的状態表現を用いて、排他的さ、必須性、選択可能性といった複雑なアクション関係をモデル化すること。
• 手動でコーディングされたアクション語彙や制限された文語的形態に依存せずに、生テキストからのエンドツーエンドのアクションシーケンス抽出の学習を可能にすること。
• 継続的学習のためのオンラインヒューマンインザループ相互作用を通じて、モデルの頑健性と適応性を評価すること。

提案手法

• テキスト内の語の選択または削除をアクションとし、現在のテキスト文脈を強化学習フレームワークにおける状態として扱う。
• 深層Qネットワーク（DQN）を用いて、現在の状態に基づきアクション（動詞および目的語）を選択する方策を学習し、正しさと構造的制約に基づいた報酬を設計する。
• 以前に抽出されたアクションを状態表現に組み込むことで、順序依存性をモデル化し、矛盾（例：排他的なアクション）を解消する。
• ヒューマンフィードバックがリアルタイムでQネットワークを更新するオンライン学習環境を実装する。
• 正例率に基づく経験再生と追加のスパarsely報酬を適用し、サンプル効率と学習安定性を向上させる。
• ラベル付きデータセット（WHS, CT, WHG）上でエンドツーエンドにモデルを学習し、ラベルなしテキストに対してヒューマンフィードバックによるファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 事前にアクション集合の知識がなくても、深層強化学習フレームワークは自由形式の自然言語から一貫性があり意味的に正しいアクションシーケンスを抽出できるか？
• RQ2 本モデルは、アクション選択における排他的さ、必須性、選択可能性といった複雑なアクション関係をどの程度適切に処理できるか？
• RQ3 オンライン学習ループにおけるヒューマンフィードバックの統合は、モデルの性能と適応性を向上させるか？
• RQ4 追加報酬や正例率に基づく経験再生といった補助的要素が、モデルの収束性と正確性に果たす貢献は何か？

主な発見

• EASDRLは、排他的なアクション名および目的語抽出タスクにおいて、SOTAベースラインを絶対F1スコアで5%以上上回った。
• 本モデルは、3つのベンチマークデータセット（WHS, CT, WHG）すべてで顕著な性能向上を達成し、ドメインを越えた強い一般化能力を示した。
• オンラインヒューマンインザループ学習の結果、フィードバックが蓄積されるに従い、EASDRLは最良のオフラインベースライン（BLCC-2）を一貫して上回った。
• アブレーションスタディの結果、追加報酬および正例率に基づく経験再生の両方が性能に不可欠であることが確認され、いずれかを除去するとモデルの正確性が低下した。
• 本モデルは、複雑なアクション関係を効果的に捉えており、例えば「調理する」と「使用する」の排他的なアクションペアを適切に解消するとともに、必須アクション（例：「おにぎりを冷蔵する」）を正しく特定した。