[论文解读] Further Boosting BERT-based Models by Duplicating Existing Layers: Some Intriguing Phenomena inside BERT

Wei-Tsung Kao, Tsung-Han Wu+3 more|arXiv (Cornell University)|Jan 25, 2020

Topic Modeling被引用 4

一句话总结

本文提出了一种简单而有效的方法，通过在不重新训练的情况下复制现有层来提升基于 BERT 的模型性能，其依据是观察到大多数 BERT 层在输出上具有冗余性或高度相似性。该方法在多种自然语言处理任务中显著提升了下游性能，表明仅通过层复制即可构建更深的模型。

ABSTRACT

Although Bidirectional Encoder Representations from Transformers (BERT) have achieved tremendous success in many natural language processing (NLP) tasks, it remains a black box, so much previous work has tried to lift the veil of BERT and understand the functionality of each layer. In this paper, we found that removing or duplicating most layers in BERT would not change their outputs. This fact remains true across a wide variety of BERT-based models. Based on this observation, we propose a quite simple method to boost the performance of BERT. By duplicating some layers in the BERT-based models to make it deeper (no extra training required in this step), they obtain better performance in the down-stream tasks after fine-tuning.

研究动机与目标

• 探究基于 BERT 的模型中各层的功能冗余性。
• 探索是否可通过层复制提升模型性能而无需额外训练。
• 理解为何复制层能提升下游任务的性能。
• 提供一种通过架构修改简单而有效地提升基于 BERT 的模型的方法。

提出的方法

• 作者观察到，在 BERT 中移除或复制大多数层后，输出几乎保持不变，表明存在功能冗余。
• 他们提出在基于 BERT 的模型中复制选定层以增加深度，且在复制过程中不进行任何微调。
• 复制后的模型通过标准流程在下游任务上进行微调。
• 该方法在多种基于 BERT 的架构上应用，均表现出一致的性能提升。
• 在复制阶段无需增加额外参数或训练，因此计算效率高。

实验结果

研究问题

• RQ1 为何 BERT 中的大多数层会产生相似的输出，表明存在冗余？
• RQ2 是否可以通过复制现有层来提升模型性能而无需重新训练？
• RQ3 通过层复制增加模型深度是否能提升下游 NLP 任务上的泛化能力？
• RQ4 层复制如何影响基于 BERT 的模型的表征能力？

主要发现

• 在基于 BERT 的模型中复制层，可在多个下游 NLP 任务中实现一致的性能提升。
• 性能提升完全依赖于架构修改，复制过程中无需任何额外训练。
• 该方法适用于多种基于 BERT 的架构，表明其具有广泛的适用性。
• 观察到层输出在移除或复制后保持稳定，揭示了 BERT 层设计中存在显著的冗余性。