[論文レビュー] Event Extraction with Generative Adversarial Imitation Learning

Tongtao Zhang, Heng Ji|arXiv (Cornell University)|Apr 21, 2018

Reinforcement Learning in Robotics参考文献 28被引用数 12

ひとこと要約

本論文は、教師（人間アノテーション済み）の行動に基づき、逆強化学習を用いて動的に報酬を推定する生成的対抗的模倣学習（GAIL）フレームワークを、イベント抽出に提案する。この手法により、特徴工学を明示的に行わずに、曖昧でレアなイベントの性能が向上する。共有パラメータとGANによる適応的報酬設計を活用することで、最先端のモデルを上回る性能を達成する。

ABSTRACT

We propose a new method for event extraction (EE) task based on an imitation learning framework, specifically, inverse reinforcement learning (IRL) via generative adversarial network (GAN). The GAN estimates proper rewards according to the difference between the actions committed by the expert (or ground truth) and the agent among complicated states in the environment. EE task benefits from these dynamic rewards because instances and labels yield to various extents of difficulty and the gains are expected to be diverse -- e.g., an ambiguous but correctly detected trigger or argument should receive high gains -- while the traditional RL models usually neglect such differences and pay equal attention on all instances. Moreover, our experiments also demonstrate that the proposed framework outperforms state-of-the-art methods, without explicit feature engineering.

研究の動機と目的

• 従来の強化学習が、報酬が固定であるため、個々の例の難易度やレアイベントの重要性を十分に反映できないという限界を是正すること。
• 正しく予測することの真の価値を反映する、文脈に依存する動的報酬を用いた強化学習問題としてイベント抽出を定式化すること。
• 専門家によるアノテーションを模倣することで最適な方策を学習することにより、言語的特徴の明示的工学に依存するのを減らすこと。
• 複数のサブタスク（例：トリガー検出とアーギュメントラベル付け）間で共有されるパラメータと埋め込みを用いることで、全体の性能が向上することを示すこと。

提案手法

• フレームワークは、エージェント（抽出器）が観測された状態（文の特徴）に基づき、行動（イベントタイプ、アーギュメント役割）を選択する強化学習問題としてイベント抽出をモデル化する。
• 逆強化学習（IRL）を用いて、教師のデモンストレーション（正解アノテーション）から報酬関数を推定し、行動と状態の差に応じた動的報酬割り当てを可能にする。
• 生成的対抗的ネットワーク（GAN）を用いて報酬関数を推定する：ジェネレータ（抽出器）は教師を模倣し、ディスクラミネーターは教師の行動とエージェントの行動を区別する。
• 報酬関数は、特に困難または曖昧なケースにおいて、エージェントと教師の行動の類似度を最大化するように最適化される。
• 複数のサブタスク（トリガー検出、アーギュメントラベル付け）間で共有された埋め込みとパラメータを用いることで、一般化性能と性能が向上する。
• 訓練プロセスは、推定された報酬に基づく反復的方策更新を含み、トリガーおよびアーギュメントラベル付けのF1スコアを用いて性能を監視する。

実験結果

リサーチクエスチョン

• RQ1 教師の行動から導かれる動的報酬関数は、固定報酬と比較して、曖昧でレアなイベントの抽出性能を向上させることができるか？
• RQ2 GANベースの逆強化学習による模倣学習は、イベント抽出における明示的言語的特徴工学の必要性を低減できるか？
• RQ3 複数のサブタスク間でパラメータと埋め込みを共有することで、統合的イベント抽出性能にどのような影響を与えるか？
• RQ4 提案されたフレームワークは、広範な特徴工学に依存する最先端のモデルを上回ることができるか？

主な発見

• 提案されたGAILベースのフレームワークは、特徴工学を明示的に行わずとも、トリガーおよびアーギュメントラベル付けの両方で最先端の手法を上回り、より高いF1スコアを達成した。
• アーギュメントラベル付けにおいて、トリガーとエンティティを同時に学習したフレームワークは55.9%のF1スコアを達成したが、これはトリガーのみを学習した設定で23.3%のF1スコアを示したのと比べて顕著に優れていた。
• GAILによる動的報酬を用いたモデルは収束が遅かったが、最終的には固定報酬ベースラインを上回り、適応的報酬設計の利点を示した。
• 曖昧なトリガー（例：'campaign'）における正解行動と誤り行動の報酬差が時間経過とともに増大したため、モデルが正しく予測することを優先するよう学習したことが示された。
• Liら（2014）の特徴工学を施したベースラインと比較して、本フレームワークは有意に優れた性能を示し、95%信頼区間で差が認められた。
• エンティティとトリガー検出を同時に学習することで、推論時にエンティティが不要であったとしても、アーギュメントラベル付けの性能が向上した。これは、統合的表現学習の価値を裏付けるものであった。