[论文解读] Automated Concatenation of Embeddings for Structured Prediction

Xinyu Wang, Yong Jiang+5 more|arXiv (Cornell University)|Oct 10, 2020

Topic Modeling参考文献 96被引用 17

一句话总结

该论文提出自动化嵌入拼接（ACE），一种基于强化学习的方法，可自动发现用于结构化预测任务的预训练嵌入最优组合。通过将嵌入拼接建模为神经架构搜索问题，ACE 在仅使用单张 GPU 几乎不到 10 GPU 小时的情况下，在 6 项任务和 21 个数据集上均超越强基线模型，达到最先进性能。

ABSTRACT

Pretrained contextualized embeddings are powerful word representations for structured prediction tasks. Recent work found that better word representations can be obtained by concatenating different types of embeddings. However, the selection of embeddings to form the best concatenated representation usually varies depending on the task and the collection of candidate embeddings, and the ever-increasing number of embedding types makes it a more difficult problem. In this paper, we propose Automated Concatenation of Embeddings (ACE) to automate the process of finding better concatenations of embeddings for structured prediction tasks, based on a formulation inspired by recent progress on neural architecture search. Specifically, a controller alternately samples a concatenation of embeddings, according to its current belief of the effectiveness of individual embedding types in consideration for a task, and updates the belief based on a reward. We follow strategies in reinforcement learning to optimize the parameters of the controller and compute the reward based on the accuracy of a task model, which is fed with the sampled concatenation as input and trained on a task dataset. Empirical results on 6 tasks and 21 datasets show that our approach outperforms strong baselines and achieves state-of-the-art performance with fine-tuned embeddings in all the evaluations.

研究动机与目标

• 解决为结构化预测任务手动选择多样化预训练嵌入最优组合的挑战。
• 在无需微调下游任务模型的前提下，自动化搜索有效嵌入拼接方法。
• 降低在指数级增长的嵌入组合中进行穷举搜索的计算负担。
• 通过强化学习学习任务特定的最优嵌入集成，从而提升结构化预测性能。
• 设计一种高效、可扩展且实用的嵌入组合方法，其性能优于现有基线和集成方法。

提出的方法

• ACE 将嵌入拼接问题建模为神经架构搜索（NAS）任务，其中控制器学习采样有效的嵌入组合。
• 控制器使用策略梯度算法（Williams, 1992）更新其对各类嵌入有效性信念，基于奖励信号进行优化。
• 奖励由在所采样拼接嵌入上训练的任务模型的准确率计算得出，为控制器策略的优化提供反馈。
• 设计了一种新颖的奖励函数，通过测量当前与先前采样拼接之间的性能变化，累积性能增益，从而提升采样效率。
• 搜索空间被设计为可直接生成嵌入拼接，无需使用 RNN，从而实现更快且更可解释的搜索过程。
• 该方法运行高效，每项任务仅需数个 GPU 小时，且在搜索过程中无需微调下游任务模型。

实验结果

研究问题

• RQ1 强化学习能否有效应用于自动化结构化预测任务中最优嵌入组合的选择？
• RQ2 ACE 在性能和效率方面与强基线及集成方法相比表现如何？
• RQ3 对于不同结构化预测任务（如命名实体识别、词性标注和依存句法分析）而言，最有效的嵌入类型和组合是什么？
• RQ4 ACE 是否在不微调下游任务模型的前提下实现了最先进性能？
• RQ5 奖励函数的设计如何影响搜索过程的效率与有效性？

主要发现

• ACE 在 6 项结构化预测任务——命名实体识别、词性标注、短语切分、方面抽取、句法依存分析和语义依存分析——的 21 个数据集上均达到最先进性能。
• 在命名实体识别任务中，ACE+微调在多语言 TB-v2 数据集上达到 95.8% 的 F1 值，优于 XLM-R+微调（95.4%）和 RoBERTa+微调（95.4%）。
• 在依存句法分析任务中，ACE+微调在 PTB 数据集上达到 97.2% 的 UAS 和 95.7% 的 LAS，优于 BERT+微调（96.6% UAS）和 XLNET+微调（97.0% UAS）。
• 在方面抽取任务中，ACE+微调在土耳其语数据集上达到 81.9% 的 F1 值，优于 XLM-R+微调（74.1%）和 XLNET+微调（74.4%）。
• 该方法极为高效，每项任务仅需数个 GPU 小时，相比之下，NAS 方法通常需要数百甚至数千 GPU 小时。
• 分析表明，BERT 在句法序列结构任务中始终被选中，而多语言 M-BERT 在多语言命名实体识别中更受青睐，XLM-R 在多语言任务中比在单语种序列结构任务中使用频率更高。