[论文解读] Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection

Alexandre Rochette, Yadollah Yaghoobzadeh+1 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 12被引用 9

一句话总结

本文提出一种两阶段无监督域自适应方法，用于 BERT，以提升 StackExchange 论坛中低资源重复问题检测（DQD）的性能。首先，利用未标注的论坛数据对 BERT 进行自监督预训练，以适应目标领域；随后，在有限的标注 DQD 数据上进行微调。该方法显著提升了性能，尤其在标注数据极少的情况下，优于标准 BERT 和基线模型。

ABSTRACT

Answering questions is a primary goal of many conversational systems or search products. While most current systems have focused on answering questions against structured databases or curated knowledge graphs, on-line community forums or frequently asked questions (FAQ) lists offer an alternative source of information for question answering systems. Automatic duplicate question detection (DQD) is the key technology need for question answering systems to utilize existing online forums like StackExchange. Existing annotations of duplicate questions in such forums are community-driven, making them sparse or even completely missing for many domains. Therefore, it is important to transfer knowledge from related domains and tasks. Recently, contextual embedding models such as BERT have been outperforming many baselines by transferring self-supervised information to downstream tasks. In this paper, we apply BERT to DQD and advance it by unsupervised adaptation to StackExchange domains using self-supervised learning. We show the effectiveness of this adaptation for low-resource settings, where little or no training data is available from the target domain. Our analysis reveals that unsupervised BERT domain adaptation on even small amounts of data boosts the performance of BERT.

研究动机与目标

• 为解决社区论坛（如 StackExchange）中重复问题检测（DQD）面临低资源挑战的问题，即标注数据稀疏或缺失。
• 通过利用未标注的论坛数据，将 BERT 适应至特定领域语言模式，以提升其在 DQD 任务中的泛化能力。
• 探究在少量目标领域数据上进行无监督域自适应，是否能提升 DQD 性能。
• 评估域自适应在同域与跨域设置下的有效性，包括 Quora 和 Academia 等非相似领域。
• 理解不同标注函数（如 Quora 与 SE）对域自适应及模型泛化能力的影响。

提出的方法

• 在目标 StackExchange 领域的未标注数据上微调 BERT，采用掩码语言建模和下一句预测作为自监督目标，再进行下游任务微调。
• 采用两阶段流程：(1) 在目标领域文本上进行无监督域自适应，(2) 在标注的 DQD 对上进行有监督微调。
• 使用来自 StackExchange 的领域特定未标注数据对 BERT 进行自适应，即使仅使用几百到几千句话亦可。
• 在不同标注函数（如 Quora）的源领域迁移时，比较冻结参数与微调参数的性能差异。
• 在域自适应后，使用交叉熵损失在标注问题对上训练 DQD 模型。
• 在五个 StackExchange 领域和两个外部数据集（Quora、Academia）上进行评估，通过 F1 和 AUC 指标衡量性能。

实验结果

研究问题

• RQ1 在少量未标注论坛数据上对 BERT 进行无监督域自适应，是否能提升低资源设置下的 DQD 性能？
• RQ2 当从标注函数不同的源领域（如 Quora）迁移到目标领域（如 AskUbuntu）时，无监督 BERT 自适应对 DQD 性能有何影响？
• RQ3 在大量多样化 StackExchange 领域上进行域自适应，是否能提升对新目标领域的泛化能力？
• RQ4 在源领域与目标领域标注策略不同时，自适应后微调 BERT 参数是否总是优于冻结参数？
• RQ5 在低资源 DQD 场景下，域自适应 BERT 的性能与标准 BERT 及先前的 LSTM 基线模型相比如何？

主要发现

• 即使仅使用少量未标注的目标领域数据（如几千句话），对 BERT 进行无监督域自适应也能显著提升 DQD 性能，尤其在低资源设置下。
• 在标注的 DQD 数据上对自适应后的 BERT 进行微调，性能远优于使用标准 BERT 的情况，后者在低资源领域表现较差。
• 当从 Quora（使用高词汇重叠负样本对）迁移到 AskUbuntu 时，自适应后冻结 BERT 参数的性能优于微调，表明因标注函数差异导致的分布不匹配。
• 在大量多样化 StackExchange 领域上对 BERT 进行自适应，可提升在多个目标领域的性能，表明具备广泛的域泛化能力。
• 在 Academia（非计算机科学领域）上进行 BERT 自适应的性能仅略低于在主题更相似的 SuperUser 领域上的表现（F1：0.854 vs. 0.870），表明当标注函数相似时，对主题差异具有鲁棒性。
• 无监督域自适应与有监督微调相结合，显著降低了对大规模标注 DQD 数据集的需求，使该方法在低资源应用中极为高效。