[论文解读] Finding Experts in Transformer Models

Xavier Suau, Luca Zappella+1 more|arXiv (Cornell University)|May 15, 2020

Topic Modeling参考文献 31被引用 15

一句话总结

本文提出一种方法，用于识别并利用预训练Transformer模型中的“专家单元”（即对特定概念分类具有高平均精度的神经元），基于OneSec数据集中1,641个概念的数据集。实验表明，专家单元的质量与模型泛化能力存在强相关性（R² = 0.833），可通过仅激活顶级专家实现无需微调的概念条件文本生成，并通过概念共学习分析实现可解释性。

ABSTRACT

In this work we study the presence of expert units in pre-trained Transformer Models (TM), and how they impact a model's performance. We define expert units to be neurons that are able to classify a concept with a given average precision, where a concept is represented by a binary set of sentences containing the concept (or not). Leveraging the OneSec dataset (Scarlini et al., 2019), we compile a dataset of 1641 concepts that allows diverse expert units in TM to be discovered. We show that expert units are important in several ways: (1) The presence of expert units is correlated ($r^2=0.833$) with the generalization power of TM, which allows ranking TM without requiring fine-tuning on suites of downstream tasks. We further propose an empirical method to decide how accurate such experts should be to evaluate generalization. (2) The overlap of top experts between concepts provides a sensible way to quantify concept co-learning, which can be used for explainability of unknown concepts. (3) We show how to self-condition off-the-shelf pre-trained language models to generate text with a given concept by forcing the top experts to be active, without requiring re-training the model or using additional parameters.

研究动机与目标

• 探究预训练Transformer模型中是否存在专门化神经元（专家单元），以及其与模型性能的关系。
• 开发一种无需微调或引入额外参数的专家单元识别与排序方法。
• 探索如何利用专家单元对特定概念进行条件化文本生成。
• 通过专家重叠量化概念共学习，以提升模型可解释性。
• 建立专家质量与多种下游任务中模型泛化能力之间的相关性。

提出的方法

• 将概念定义为一组二元句子（正样本/负样本），使用OneSec数据集中的1,641个概念。
• 将Transformer模型中的单个神经元视为候选专家单元，并计算其在概念分类任务中的平均精度（AP）。
• 对token级别的神经元激活应用最大池化操作，使方法对序列长度保持不变。
• 根据AP得分对专家单元进行排序，并将“概念专长”定义为顶级专家的平均AP。
• 通过仅激活目标概念的顶级专家单元，采用专家集成（product of experts）公式对预训练语言模型进行自条件化。
• 提出一种经验方法，确定最优专长阈值（AP > 0.985），以最大化与泛化性能的相关性。

实验结果

研究问题

• RQ1 预训练Transformer模型中是否存在专家单元？其质量与模型泛化能力的相关性如何？
• RQ2 能否在不进行微调或引入额外参数的情况下，利用专家单元对特定概念进行条件化文本生成？
• RQ3 如何利用概念间专家重叠来量化并解释概念共学习？
• RQ4 最大化与下游泛化性能相关性的专家质量最优阈值（AP）是什么？
• RQ5 能否利用专家单元对模型进行排序，而无需在下游任务上进行微调？

主要发现

• 专家单元的质量与模型泛化能力存在强相关性，概念专长与GLUE及SQuAD任务平均性能之间的R²为0.833。
• 为最大化泛化相关性，最优专家质量阈值为AP > 0.985，表明极高精度的专家对强泛化能力至关重要。
• 仅需0.012%的神经元（414,720个中的前50个）即可通过激活顶级专家单元，使GPT-2-L在不重新训练的情况下生成富含特定概念（如“football%1:04:00”）的文本。
• 专家之间的重叠可作为共学习的有意义度量，有助于解释相关概念在模型中的表征方式。
• 该方法可在无需微调的情况下实现模型比较与排序，减少下游任务偏差与超参数搜索。
• 通过专家激活实现的自条件化可成功生成上下文相关的文本，如图1所示，其中“TM”被解释为体育语境下的含义，且“coach”与“shooting”等词显著突出。