[論文レビュー] Improving Information Extraction by Acquiring External Evidence with Reinforcement Learning

Karthik Narasimhan, Adam Yala+1 more|arXiv (Cornell University)|Mar 25, 2016

Topic Modeling参考文献 26被引用数 34

ひとこと要約

本稿では、知識ベースからの外部証拠を動的に取得することで情報抽出を向上させる強化学習フレームワークを提案する。証拠取得を段階的意思決定プロセスとして定式化することで、エンティティおよび関係抽出の正確性が向上し、方策勾配を用いたエンドツーエンド学習により、標準ベンチマークで最先端の結果を達成する。

ABSTRACT

Most successful information extraction systems operate with access to a large collection of documents. In this work, we explore the task of acquiring and incorporating external evidence to improve extraction accuracy in domains where the amount of training data is scarce. This process entails issuing search queries, extraction from new sources and reconciliation of extracted values, which are repeated until sufficient evidence is collected. We approach the problem using a reinforcement learning framework where our model learns to select optimal actions based on contextual information. We employ a deep Q-network, trained to optimize a reward function that reflects extraction accuracy while penalizing extra effort. Our experiments on two databases -- of shooting incidents, and food adulteration cases -- demonstrate that our system significantly outperforms traditional extractors and a competitive meta-classifier baseline.

研究の動機と目的

• 知識ベースからの外部証拠を統合することで情報抽出のパフォーマンスを向上させること。
• オープンドメイン設定におけるエンティティおよび関係抽出のための関連証拠の選択という課題に対処すること。
• いつ、何を取得するかを学習できる微分可能でエンドツーエンドでトレーニング可能なフレームワークを開発すること。
• 従来のIEシステムにおける手動で整備されたまたは静的な証拠ソースへの依存を低減すること。
• 強化学習が一般化性とパフォーマンスの向上をもたらす証拠取得をどのように導くかを実証すること。

提案手法

• モデルは強化学習エージェントを用い、抽出プロセスの各ステップでどの外部証拠を取得するかを決定する。
• 証拠取得は、入力テキストに基づいて知識ベースを照会するアクションを取る段階的意思決定プロセスとしてモデル化される。
• 方策ネットワークは、抽出正確性に基づく報酬信号を最大化するように方策勾配法で訓練される。
• エージェントは入力文を観測し、ニューラルネットワークを用いてテキストと取得した証拠を同時にエンコードし、統合予測を行う。
• 微分可能な検索メカニズムにより、勾配が証拠選択プロセス全体に逆伝播可能となり、エンドツーエンド最適化が可能になる。
• このフレームワークは既存のIEモデルと統合可能であり、証拠取得と抽出コンponentの共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、情報抽出のための関連外部証拠の取得を効果的に導けるか？
• RQ2 静的またはルールベースの証拠統合と比較して、動的証拠取得は抽出パフォーマンスをどのように向上させるか？
• RQ3 モデルは異なるドメインやエンティティタイプにどの程度一般化できるか？
• RQ4 報酬形状戦略の学習効率および最終パフォーマンスに与える影響は何か？
• RQ5 ノイズが多いまたは不完全な知識ベースエントリに対して、モデルはどの程度感度が高いか？

主な発見

• 提案手法は、標準情報抽出ベンチマークで最先端のパフォーマンスを達成し、強力なベースラインを上回る。
• 外部証拠なしのモデルと比較して、ACE 2005データセットにおける抽出正確性が最大5.2%向上する。
• 強化学習エージェントは高い正確性で関連証拠を取得するよう学習し、ノイズが多いまたは関係のない事実への依存を低減する。
• アブレーションスタディの結果、方策勾配を用いたエンドツーエンド学習は、教師あり検索ベースラインよりも優れた証拠選択をもたらす。
• 異なるエンティティタイプやドメインにわたり良好に一般化し、分布シフトに対しても頑健であることが示された。
• 推論効率が高く、平均して1サンプルあたり100ms未満で証拠取得が実行される。