[論文レビュー] Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold

Swabha Swayamdipta, Sam Thomson+2 more|arXiv (Cornell University)|Jun 29, 2017

Natural Language Processing Techniques参考文献 46被引用数 95

ひとこと要約

リコール重視の softmax-margin SegRNN を frame-semantic の論拈識別に導入し、構文を用いずに開始、次に構文特徴または訓練時の構文スキャフォールドを追加して、テスト時に解析を行わずに最先端の結果を達成する。

ABSTRACT

We present a new, efficient frame-semantic parser that labels semantic arguments to FrameNet predicates. Built using an extension to the segmental RNN that emphasizes recall, our basic system achieves competitive performance without any calls to a syntactic parser. We then introduce a method that uses phrase-syntactic annotations from the Penn Treebank during training only, through a multitask objective; no parsing is required at training or test time. This "syntactic scaffold" offers a cheaper alternative to traditional syntactic pipelining, and achieves state-of-the-art performance.

研究の動機と目的

• 構文なしで SegRNN を用いた frame-semantic argument identification モデルを開発する。
• 構文特徴（依存関係/句構造）が性能へ与える影響を評価する。
• Penn Treebank を用いて構文の有用性を模倣する syntactic scaffold を訓練時 multitask 目標として提案・評価する。
• 構文を用いた場合といない場合の FrameNet 1.5 で state-of-the-art もしくはほぼ同等の結果を示す。
• 再現性とより広い利用のため open-source 実装（open-sesame）を公開する。

提案手法

• SegRNN（bidirectional LSTM からの span 表現を用いる Semi-Markov CRF）を用いて、各 frame の argument のラベル付き span をスコア付けする。
• トークンレベルの biLSTM と候補 span 上の第2 の biLSTM から派生した span 埋め込みで spans を表現する。
• frame、lexical unit、target context の埋め込みを組み合わせて、feedforward ネットワーク（Eq. 7）を介してセグメントスコアを形成する。
• Eqs. 8–12 に基づいた softmax-margin 目標で訓練し、リコールを精度より優先させる。
• （a）依存パーサーまたは（b）句構造パーサ（RNNG）からの特徴を span 表現に追加して、構文を任意に補完する（Table 1–2）。
• フレームセマンティックモデルと並行して、PTB を用いて span constituents を予測する syntactic scaffold multitask objective を導入する（Eq. 16）。テスト時には解析は不要。

実験結果

リサーチクエスチョン

• RQ1 構文を用いない SegRNN が競争力のある精度で frame-semantic arguments を識別できるか。
• RQ2 依存/句構造といった標準的な構文特徴は、ニューラル SegRNN と組み合わせた場合に性能を向上させるか。
• RQ3 PTB から学習した syntactic scaffold は、訓練時もテスト時も構文解析を必要とせず、frame-semantic parsing を改善できるか。
• RQ4 このタスクにおいて softmax-margin のリコール指向訓練は、単純な対数尤度と比較してどうであったか。
• RQ5 提案手法の相対的な性能は、FrameNet 1.5 の最先端システムと比較してどうか。

主な発見

システム	Arg. Id., 金標本フレーム: P	Arg. Id., 金標本フレーム: R	Arg. Id., 金標本フレーム: F1	Frame+Arg Id, 予測フレーム: P	Frame+Arg Id, 予測フレーム: R	Frame+Arg Id, 予測フレーム: F1
SEMAFOR (Das et al., 2014)	65.6	53.8	59.1	-	-	66.8
SEMAFOR (Kshirsagar et al., 2015)	66.0	60.4	63.1	-	-	67.9
FitzGerald et al., 2015	-	-	-	74.8	65.5	69.9
Roth et al., 2017	-	-	-	72.1	68.3	70.2
FitzGerald et al., 2015 (ensemble)	-	-	-	75.0	67.3	70.9
Open-SESAME	64.7	61.2	62.9	68.0	68.1	68.0
Open-SESAME + dependency features	69.4	60.5	64.6	71.0	67.8	69.4
Open-SESAME + phrase-structure features	69.1	61.8	65.3	70.4	68.3	69.3
Open-SESAME + syntactic scaffolding	68.4	60.7	64.4	70.1	67.9	69.0
Open-SESAME (ensemble)	69.5	63.6	66.4	70.5	69.4	69.9
Open-SESAME + dependency features (ensemble)	70.2	65.6	67.8	70.7	70.4	70.6
Open-SESAME + phrase-structure features (ensemble)	71.7	66.3	68.9	71.2	70.5	70.9
Open-SESAME + syntactic scaffolding (ensemble)	72.0	65.0	68.3	71.5	69.9	70.7

• 基本的な構文なしの SegRNN（Open-SESAME）は、構文的手掛かりなしで SEMAFOR ベースラインを上回る。
• 構文特徴（句構造または依存）を追加すると性能が向上し、いずれの型からも同等の利得が得られる。
• syntactic scaffold 訓練は、訓練時・テスト時のいかなる構文パーサも不要で state-of-the-art の性能を達成し、構文を使用するモデルに近い性能を示す。
• Softmax-margin のリコール指向訓練は、全モデル（図3）で一貫して単純なロスより有利である。
• 自己アンサンブルは顕著な利得を生み、トップシステムが外部リソースを使用する場合と比較して最良のアンサンブル結果を 0.2% の F1 にまで近づける。