[论文解读] Deep Multitask Learning for Semantic Dependency Parsing
本文提出了一种用于语义依存分析的深度多任务学习框架，通过共享双向LSTM和多层感知机联合建模三种形式化系统——DM、PAS和PSD，用于弧评分。通过在不同形式化系统之间共享参数并建模高阶结构依赖关系，该方法在不依赖句法特征或人工设计表示的前提下，在SemEval 2015广覆盖语义依存分析任务中取得了最先进性能。
We present a deep neural architecture that parses sentences into three semantic dependency graph formalisms. By using efficient, nearly arc-factored inference and a bidirectional-LSTM composed with a multi-layer perceptron, our base system is able to significantly improve the state of the art for semantic dependency parsing, without using hand-engineered features or syntax. We then explore two multitask learning approaches---one that shares parameters across formalisms, and one that uses higher-order structures to predict the graphs jointly. We find that both approaches improve performance across formalisms on average, achieving a new state of the art. Our code is open-source and available at https://github.com/Noahs-ARK/NeurboParser.
研究动机与目标
- 通过利用多种语义形式化系统之间的共享表示，提升语义依存分析性能。
- 通过多任务学习挖掘不同形式化系统之间的结构与语义重叠，缓解语义分析中的数据稀缺问题。
- 开发一种神经架构，在不依赖人工设计特征或句法解析的前提下实现优异性能。
- 探究通过参数共享与结构交互，联合建模多种形式化系统是否能提升解析准确率。
- 评估多任务学习在低资源语义解析场景下的有效性，尤其在平行标注数据有限的情况下。
提出的方法
- 使用双向LSTM后接多层感知机对输入句子进行编码，并为每种形式化系统评分语义弧。
- 采用近似弧因子化推理，高效解码有向、有标签的依存图。
- 在共享编码器中对不同形式化系统应用参数共享，以利用共同的语言模式。
- 提出一种高阶结构建模方法，通过共享输出结构联合预测不同形式化系统之间的图结构。
- 使用交叉熵损失对弧和谓词预测进行端到端训练，并采用束搜索进行解码。
- 评估参数共享与联合结构建模作为正交的多任务学习策略。
实验结果
研究问题
- RQ1在低资源设置下，跨多种语义形式化系统进行参数共享是否能提升解析性能？
- RQ2在不同形式化系统之间联合建模结构依赖关系，是否能比独立解析带来更好的泛化能力？
- RQ3形式化系统之间的结构相似性（如DM与PAS与PSD之间）如何影响多任务学习性能？
- RQ4与流水线方法相比，多任务学习在多大程度上减少了误差传播？
- RQ5单一神经架构能否在无句法监督的情况下有效处理多种语义形式化系统？
主要发现
- 所提出的基线模型在不使用句法特征的情况下，于SemEval 2015共享任务的全部三种形式化系统上均取得了最先进性能。
- 在不同形式化系统之间共享参数，平均使无标签F1提升0.2–0.3个百分点，且在结构更相似的形式化系统（如DM与PAS）上提升更显著。
- 联合建模高阶结构进一步提升了性能，尤其在无标签F1方面，当同时采用两种多任务学习策略时取得最佳结果。
- 在开发集上，模型在DM上达到91.9%的无标签F1，PAS上达到93.4%，PSD上达到88.6%，优于先前系统。
- 结构分析显示，PSD在弧的方向性上与DM和PAS存在显著差异，这解释了在建模方向性时PSD性能提升较小的原因。
- 在建模方向性结构时，PSD性能下降表明方向性不匹配可能阻碍联合学习，提示未来工作需采用更选择性的结构建模策略。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。