[論文レビュー] Implicit Argument Prediction with Event Knowledge

Pengxiang Cheng, Katrin Erk|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling参考文献 9被引用数 7

ひとこと要約

本論文は、物語の整合性とエンティティの顕著性を活用して、スケーラブルなクローズ形式のタスクを用いて合成学習データを生成するニューラルモデルを提案する。このモデルは、合成データおよび自然言語データの両方で強力なベースラインを上回り、ゴールドアノテート特徴に依存せずに最先端の性能を達成する。

ABSTRACT

Implicit arguments are not syntactically connected to their predicates, and are therefore hard to extract. Previous work has used models with large numbers of features, evaluated on very small datasets. We propose to train models for implicit argument prediction on a simple cloze task, for which data can be generated automatically at scale. This allows us to use a neural model, which draws on narrative coherence and entity salience for predictions. We show that our model has superior performance on both synthetic and natural data.

研究の動機と目的

• クローズ形式のタスクを用いて大規模な合成データを自動生成することで、暗黙的引数予測のための学習データの不足を解消すること。
• 物語の整合性モデルからのイベント知識とエンティティの顕著性特徴を統合することで、暗黙的引数予測の性能を向上させること。
• 自動生成されたデータで学習した単純なニューラルモデルが、複雑で特徴を手作業で設計したベースラインを上回ることを示すこと。
• OntoNotesからの合成データおよびGerberとChai（2010）のデータセットからの自然言語データの両方でモデルを評価すること。
• 顕著性と物語の整合性が、構文的に接続されていない暗黙的引数を特定するのにおける役割を調査すること。

提案手法

• 著者らは、欠落した暗黙的引数を周囲むイベント文脈に基づいて予測するクローズタスクを設計し、大規模な自動データ生成を可能にする。
• Granroth-WildingとClark（2016）に基づくニューラルイベントモデルが、候補となるエンティティとイベント文脈間の物語の整合性スコアを計算する。
• エンティティの顕著性は、テキスト内でのエンティティの出現回数を数えることで推定され、頻繁に登場するエンティティが暗黙的引数である可能性が高いとみなされる。
• モデルは、物語の整合性を最大化しつつ、顕著性を正則化信号として組み込むように学習される。
• 引数が異なる役割に移動されたネガティブなトレーニング例を生成することで、複数の暗黙的引数予測への拡張がなされる。
• 非引数候補をフィルタリングするための「埋め込み／非埋め込み」分類器が追加され、再現率を損なわずに精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 クローズ形式のタスクを用いて、暗黙的引数予測のための大規模な合成データを生成できるか？
• RQ2 物語の整合性とエンティティの顕著性を組み合わせることで、暗黙的引数予測の性能が向上するか？
• RQ3 自動生成されたデータで学習した単純なニューラルモデルが、複雑で手作業で特徴を設計したモデルを上回ることができるか？
• RQ4 顕著性特徴の導入が、合成データおよび自然言語データの両方の性能に与える影響は何か？
• RQ5 イベント知識が、特に目的語および介詞目的語の役割における暗黙的引数の予測に、どの程度貢献するか？

主な発見

• OntoNotesの合成データセットでは、顕著性特徴を備えたEventCompモデルがF1スコア49.6を達成し、GCautoベースライン（F1 = 44.5）を顕著に上回った。
• 顕著性特徴の追加により、精度と再現率の両方が向上し、暗黙的引数がテキスト内で顕著なエンティティである傾向があることが確認された。
• 複数引数学習によりF1スコアが22〜23ポイント向上し、拡張されたトレーニング設定の有効性が示された。
• 4000万件のトレーニング例を用いたモデルがF1スコア49.6を達成し、データスケールの拡大による顕著な向上が確認された。
• ゴールド特徴がなくても、本研究で提案されたモデルは、FrameNet、PropBank、NomBankアノテーションに依存していた元のGerberとChai（2012）モデルを上回った。
• 「埋め込み／非埋め込み」分類器は精度を向上させるが再現率を低下させるため、F1スコアのネット向上は複数引数学習と組み合わせた場合にのみ得られた。