[论文解读] Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold

Swabha Swayamdipta, Sam Thomson+2 more|arXiv (Cornell University)|Jun 29, 2017

Natural Language Processing Techniques参考文献 46被引用 95

一句话总结

引入一个以召回为焦点的 softmax-margin SegRNN，用于在不使用句法的情况下进行框架语义论元识别；随后加入句法特征或在训练时使用的句法支架，以在测试时无需解析即可实现最先进的结果。

ABSTRACT

We present a new, efficient frame-semantic parser that labels semantic arguments to FrameNet predicates. Built using an extension to the segmental RNN that emphasizes recall, our basic system achieves competitive performance without any calls to a syntactic parser. We then introduce a method that uses phrase-syntactic annotations from the Penn Treebank during training only, through a multitask objective; no parsing is required at training or test time. This "syntactic scaffold" offers a cheaper alternative to traditional syntactic pipelining, and achieves state-of-the-art performance.

研究动机与目标

• 使用 Segmental RNN（SegRNNs）开发一个无句法依赖的框架语义论元识别模型。
• 评估添加句法特征（依存关系/短语结构）对性能的影响。
• 提出并评估一个在 Penn Treebank 上训练的句法支架多任务目标，以在测试时无需解析即可模拟句法的有用性。
• 在 FrameNet 1.5 上展示含/不含句法时的最先进或接近最先进的结果。
• 发布开源实现（open-sesame）以便复现和更广泛的使用。

提出的方法

• 使用 SegRNN（带来自双向 LSTM 的跨段表示的半马尔可夫 CRF）为每个框架的论元对标签跨度进行评分。
• 用来自标记级别 biLSTM 的跨度嵌入以及对候选跨度再进行一个 biLSTM 来表示跨度。
• 合并框架、词汇单元和目标上下文嵌入，通过一个前馈网络形成段分数（Eq. 7）。
• 用 softmax-margin 目标训练，以在召回优先于精确度（Eqs. 8–12）。
• 可选地通过从 (a) 依存解析器或 (b) 短语结构解析器（RNNG）添加特征到跨度表示来增强句法信息（Table 1–2）。
• 引入一个句法支架多任务目标（在 PTB 上预测跨度成分），与框架语义模型并行训练（Eq. 16）；测试时不需要解析。

实验结果

研究问题

• RQ1 无句法的 SegRNN 能否以具有竞争力的准确性识别框架语义论元？
• RQ2 将标准句法特征（依存/短语结构）与神经 SegRNN 结合时，是否带来性能提升？
• RQ3 从 PTB 学到的句法支架能否在训练或测试期间都不需要句法解析的情况下提升框架语义解析？
• RQ4 召回导向训练（softmax-margin）与简单对数似然在该任务中的比较？
• RQ5 所提出方法相对于 FrameNet 1.5 的最先进系统的相对性能如何？

主要发现

系统	Arg. Id.，Gold 框架：P	Arg. Id.，Gold 框架：R	Arg. Id.，Gold 框架：F1	Frame+Arg Id，预测框架：P	Frame+Arg Id，预测框架：R	Frame+Arg Id，预测框架：F1
SEMAFOR (Das et al., 2014)	65.6	53.8	59.1	-	-	66.8
SEMAFOR (Kshirsagar et al., 2015)	66.0	60.4	63.1	-	-	67.9
FitzGerald et al., 2015	-	-	-	74.8	65.5	69.9
Roth et al., 2017	-	-	-	72.1	68.3	70.2
FitzGerald et al., 2015 (ensemble)	-	-	-	75.0	67.3	70.9
Open-SESAME	64.7	61.2	62.9	68.0	68.1	68.0
Open-SESAME + dependency features	69.4	60.5	64.6	71.0	67.8	69.4
Open-SESAME + phrase-structure features	69.1	61.8	65.3	70.4	68.3	69.3
Open-SESAME + syntactic scaffolding	68.4	60.7	64.4	70.1	67.9	69.0
Open-SESAME (ensemble)	69.5	63.6	66.4	70.5	69.4	69.9
Open-SESAME + dependency features (ensemble)	70.2	65.6	67.8	70.7	70.4	70.6
Open-SESAME + phrase-structure features (ensemble)	71.7	66.3	68.9	71.2	70.5	70.9
Open-SESAME + syntactic scaffolding (ensemble)	72.0	65.0	68.3	71.5	69.9	70.7

• 基本的无句法 SegRNN（Open-SESAME）在没有任何句法线索的情况下超过了 SEMAFOR 基线。
• 添加句法特征（短语结构或依存关系）提升了性能，两者带来的增益相当。
• 句法支架训练在训练和测试时都不使用任何句法解析器即可达到最先进的性能，紧跟使用句法的模型。
• 在所有模型中，softmax-margin 召回导向训练始终优于简单对数损失（图3）。
• 自我集成带来显著提升，使最优集合结果在与使用外部资源的顶级系统比较时，F1 仅落后 0.2% 。