[论文解读] Dynamic Multi-Level Multi-Task Learning for Sentence Simplification

Han Guo, Ramakanth Pasunuru+1 more|arXiv (Cornell University)|Jun 19, 2018

Text Readability and Simplification参考文献 53被引用 8

一句话总结

本文提出了一种用于句子简化任务的动态多层级多任务学习框架，通过联合训练指针-复制序列到序列模型与自然语言蕴涵和释义生成等辅助任务，实现性能提升。该方法采用分层软共享机制——高层层用于蕴涵任务，低层层用于释义任务，并引入多臂赌博机实现动态任务调度，使模型在SARI和FKGL指标上达到当前最优性能，且在人工评估中显著优于强基线模型。

ABSTRACT

Sentence simplification aims to improve readability and understandability, based on several operations such as splitting, deletion, and paraphrasing. However, a valid simplified sentence should also be logically entailed by its input sentence. In this work, we first present a strong pointer-copy mechanism based sequence-to-sequence sentence simplification model, and then improve its entailment and paraphrasing capabilities via multi-task learning with related auxiliary tasks of entailment and paraphrase generation. Moreover, we propose a novel 'multi-level' layered soft sharing approach where each auxiliary task shares different (higher versus lower) level layers of the sentence simplification model, depending on the task's semantic versus lexico-syntactic nature. We also introduce a novel multi-armed bandit based training approach that dynamically learns how to effectively switch across tasks during multi-task learning. Experiments on multiple popular datasets demonstrate that our model outperforms competitive simplification systems in SARI and FKGL automatic metrics, and human evaluation. Further, we present several ablation analyses on alternative layer sharing methods, soft versus hard sharing, dynamic multi-armed bandit sampling approaches, and our model's learned entailment and paraphrasing skills.

研究动机与目标

• 通过多任务学习引入逻辑蕴涵与释义知识，提升句子简化模型性能。
• 解决现有模型常生成与输入逻辑不一致或缺乏词汇多样性的输出的问题。
• 设计一种多层级软共享机制，将任务特定知识（语义 vs. 词汇句法）与相应网络层对齐。
• 通过多臂赌博机开发动态训练调度策略，自动学习最优任务切换，避免手动超参数调优。

提出的方法

• 采用指针-复制机制作为句子简化任务的强基线模型，支持直接复制输入中的词与短语。
• 引入两个辅助任务：自然语言蕴涵（蕴涵）与释义生成，以增强输出的逻辑一致性和词汇多样性。
• 采用多层级分层软共享策略：简化任务与蕴涵任务共享高层层（语义层级），简化任务与释义任务共享低层层（词汇句法层级）。
• 使用多臂赌博机控制器，动态学习训练过程中最优的任务切换比例，根据模型状态与性能反馈自适应调整。
• 采用类似课程学习的动态采样策略进行端到端训练，任务选择概率随训练时间动态演化。
• 在Newsela、WikiSmall与WikiLarge数据集上评估模型，采用自动指标（SARI、FKGL）与人工评估相结合的方式。

实验结果

研究问题

• RQ1 通过引入蕴涵与释义生成等辅助任务的多任务学习，能否提升句子简化输出的逻辑一致性和词汇多样性？
• RQ2 采用不同任务对共享不同网络层的多层级软共享机制，是否优于均匀共享或硬共享策略？
• RQ3 基于多臂赌博机的动态任务调度方法，能否在多任务句子简化中超越静态、人工调优的混合比例？
• RQ4 性能提升在多大程度上源于辅助任务的特定能力，而非单纯的数据增强？
• RQ5 模型所学习的蕴涵与释义能力与独立训练的专用模型相比如何？

主要发现

• 所提出的多层级多任务学习模型在Newsela数据集上取得33.22的SARI得分，显著优于强基线指针-复制模型及当前先进的SOTA系统。
• 与基线相比，模型在FKGL指标上提升0.55分，表明简化输出更具可读性。
• 动态多臂赌博机控制器在SARI与FKGL指标上均显著优于静态混合比例与随机任务选择，p < 0.01，具有统计学显著性。
• 消融实验表明，将任务特定知识（语义 vs. 词汇句法）与对应网络层进行软共享，比硬共享或非直观的层共享更有效。
• 人工评估确认，与基线相比，该模型生成的输出更简洁、更自然、更符合逻辑蕴涵，且在简洁性与流畅性感知上得分更高。
• 性能提升并非仅源于数据增强，因为仅使用辅助任务嵌入的模型表现反而劣于多任务联合学习框架，证实了结构化参数共享与联合学习的价值。