[論文レビュー] Open-Domain Frame Semantic Parsing Using Transformers

Aditya Kalyanpur, Or Biran+5 more|arXiv (Cornell University)|Oct 21, 2020

Natural Language Processing Techniques参考文献 25被引用数 5

ひとこと要約

本論文は、T5を用いてフレーム検出、引数スパン選択、ロールラベル付けを統合的にモデル化する、生成的でトランスフォーマー基盤のエンコーダデコーダフレームワークを提案する。マルチタスク学習の設定により、サブタスク間の共有表現を活用することで、フレームネット1.7およびCoNLL 2012 PropBank SRLベンチマークで最先端の性能を達成し、先行手法を著しく上回った。

ABSTRACT

Frame semantic parsing is a complex problem which includes multiple underlying subtasks. Recent approaches have employed joint learning of subtasks (such as predicate and argument detection), and multi-task learning of related tasks (such as syntactic and semantic parsing). In this paper, we explore multi-task learning of all subtasks with transformer-based models. We show that a purely generative encoder-decoder architecture handily beats the previous state of the art in FrameNet 1.7 parsing, and that a mixed decoding multi-task approach achieves even better performance. Finally, we show that the multi-task model also outperforms recent state of the art systems for PropBank SRL parsing on the CoNLL 2012 benchmark.

研究の動機と目的

• エンドツーエンドの意味的解析を実現するため、事前学習済みトランスフォーマー・モデルを活用してフレーム意味解析のパフォーマンスを向上させること。
• T5を用いた完全な生成的シーケンス・ツー・シーケンスアプローチが、従来の最先端システムを上回ることを検証すること。
• 共有エンコーダとタスク固有のデコーダを用いたマルチタスク学習を活用し、フレーム検出、引数スパン選択、ロールラベル付けを統合的に最適化すること。
• フレームネット1.7およびCoNLL 2012 PropBank SRLを含む多様なベンチマークにおいて、現実的なエンドツーエンド設定下でモデルを評価すること。

提案手法

• モデルは、入力テキストを構造的なフレーム表現に変換するシーケンス・ツー・シーケンス生成タスクとして、フレーム意味解析を扱うT5ベースのエンコーダデコーダアーキテクチャを採用する。
• マルチタスク学習の設定を導入し、入力を処理する共有エンコーダと、フレームラベル、引数スパン、ロールラベルを生成するタスク固有のデコーダを用いる。
• マルチタスク変種において、スパン検出の正確性を向上させるために、トークンインデックスを用いた位置エンコーディングを採用する。
• すべてのサブタスクをカバーする1つの損失関数を用いてエンドツーエンドで訓練することで、フレーム選択、引数検出、ラベリングの共同最適化を実現する。
• 標準的な指標（引数検出のF1スコア、完全なフレーム予測のエクサクトマッチ）を用いて評価を実施する。
• モデルはフレームネット1.7およびCoNLL 2012 PropBankデータセット上で微調整され、公式の評価スクリプトを用いて先行の最先端システムと比較された。

実験結果

リサーチクエスチョン

• RQ1 T5のような完全な生成的でシーケンス・ツー・シーケンスのトランスフォーマー・モデルが、従来の最先端システムを上回る性能を発揮できるか？
• RQ2 共有エンコーダと特化したデコーダを用いたマルチタスク学習は、フレーム検出、引数スパン選択、ロールラベル付けのパフォーマンスを向上させるか？
• RQ3 符号化にトークンの位置インデックスを含めることで、マルチタスク設定における引数検出F1スコアにどのような影響が生じるか？
• RQ4 本モデルは、ヘクターおよびフレームネットのような多様なフレームオントロジーにわたるオープンドメイン意味解析にどの程度一般化可能か？

主な発見

• 完全な生成的T5-baseモデルは、フレームネット1.7ベンチマークにおいて、先行の最先端システムOpen-Sesameと比較して引数検出F1スコアで12〜17%の絶対的向上を達成した。
• 特化したデコーダを備えたマルチタスク学習モデルは、生成のみのアプローチと比較して、さまざまな開発/テストおよびゴールド/予測された述語設定において、引数検出F1スコアで1〜5%の向上を示した。
• CoNLL 2012 PropBank SRLベンチマークでは、マルチタスクモデルがテストセットで83.7%のF1スコアを達成し、以前の最先端システムが報告した83.1%を上回った。
• 誤差解析の結果、フレーム検出が誤検出および誤検出の主な要因であり、42.5%を占めていることが判明した。これは、フレーム分類が主なボトルネックであることを示唆している。
• 約18%の誤差は、信ぴょう性や曖昧さのあるゴールドスタンダードのアノテーションに起因しており、人間によるフレームおよびロール境界のアノテーションが常に明確ではないことを示している。
• モデルはロールの系統的すぎる過剰生成や不足生成を示さず、フレーム選択の高い誤差率にもかかわらず、予測行動がバランスしていることが判明した。