[論文レビュー] Improving Implicit Semantic Role Labeling by Predicting Semantic Frame Arguments

Quynh Ngoc Thi, Steven Bethard+1 more|arXiv (Cornell University)|Apr 10, 2017

Topic Modeling参考文献 13被引用数 9

ひとこと要約

本稿では、手動でアノテートされていないテキストから意味的述語の順序確率を学習し、明示的なSRLシステムからの予測を用いて暗黙的意味的役割ラベリング（iSRL）の選択的制約を推定する予測型再帰的ニューラル意味フレームモデル（PRNSFM）を提案する。このアプローチは、手動で整備された言語資源への依存を著しく低減し、NomBank iSRLベンチマークで、明示的SRLシステムに依存する既存手法よりもF1スコアが10%高い最先端の性能を達成した。

ABSTRACT

Implicit semantic role labeling (iSRL) is the task of predicting the semantic roles of a predicate that do not appear as explicit arguments, but rather regard common sense knowledge or are mentioned earlier in the discourse. We introduce an approach to iSRL based on a predictive recurrent neural semantic frame model (PRNSFM) that uses a large unannotated corpus to learn the probability of a sequence of semantic arguments given a predicate. We leverage the sequence probabilities predicted by the PRNSFM to estimate selectional preferences for predicates and their arguments. On the NomBank iSRL test set, our approach improves state-of-the-art performance on implicit semantic role labeling with less reliance than prior work on manually constructed language resources.

研究の動機と目的

• 手動でアノテートされたiSRLデータの不足に応じて、アノテーションのないコーパスから学習する手法を開発すること。
• iSRLシステムにおける複数の手作業で整備された言語資源への依存を低減すること。
• 再帰的ニューラル意味フレームモデルの順序確率推定値を用いて、暗黙的引数の選択的制約をモデル化すること。
• 訓練に明示的なiSRLアノテーションを必要としないまま、最先端の性能を向上させること。

提案手法

• MATEの明示的SRLシステムからの予測を用いて、大規模なアノテーションのないコーパス（Wikipedia、Reuters、Brown）上で予測型再帰的ニューラル意味フレームモデル（PRNSFM）を学習する。
• PRNSFMを用いて、述語が与えられたもとでの意味的引数の順序の確率を推定し、意味フレームの順序的構造をモデル化する。
• 語と意味的役割のための別個のベクトル表現を学習することで、異なる述語にわたる一般化を可能にし、事前学習済み埋め込みとの統合を可能にする。
• PRNSFMの順序確率推定値における位置情報の周辺化を用いて、話法のどこにでも現れる暗黙的引数を扱えるように、選択的制約を抽出する。
• 学習された選択的制約を用いて、テストセットにおける暗黙的意味的役割を予測する。この際、サブコンポーネントとして明示的SRLシステムのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 アノテーションのないテキストで学習されたニューラル順序モデルは、iSRLを向上させる意味のある意味的引数順序確率を学習できるか？
• RQ2 明示的なiSRLアノテーションがなければ、順序確率から暗黙的引数の選択的制約をどの程度正確に推定できるか？
• RQ3 PRNSFMに基づくアプローチは、F1スコアの性能とリソース効率の観点から、既存のiSRLシステムと比較してどのように差をつけるか？
• RQ4 語と意味的役割のための別個の表現を学習することは、iSRLにおける一般化と性能向上に寄与するか？

主な発見

• PRNSFMに基づくiSRLシステムは、唯一明示的SRLシステムに依存する他のシステムよりもF1スコアが10%高く、t検定によるp値が0.058であり、統計的に有意であることが示された。
• 語と意味的役割のための別個の埋め込みを用いるモデル2は、それらを1つのペアに統合するモデル1よりも優れた性能を示した。これは、異なる役割割割り当てにわたる一般化が向上したためである。
• 「sale」、「plan」、「loss」などの頻出述語では高いF1スコア（>50%）を達成したが、訓練データに頻出しなかった「bid」や「loan」などのレアまたは不規則な述語では性能が低下した。
• PRNSFMは標準的なスキップグラム言語モデルを上回った。これは、意味フレームを順序データとしてモデル化する方が、標準的なn-gramや単語レベルのモデリングよりも効果的であることを示している。
• 本システムは、手動でアノテートされたiSRLデータを一切必要とせず、明示的SRLシステムとアノテーションのないテキストのみに依存して、NomBank iSRLテストセットで最先端の性能を達成した。