[论文解读] Aspect-augmented Adversarial Networks for Domain Adaptation

Yuan Zhang, Regina Barzilay+1 more|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling参考文献 41被引用 11

一句话总结

本文提出了一种面向自然语言处理领域自适应的方面增强对抗网络（AAN），通过使用方面相关关键词作为弱监督信号而非完整标注，实现相关分类任务（如病理报告方面）之间的知识迁移。通过联合训练依赖于方面的句子编码器、共享分类器和对抗性领域判别器，该方法学习到不变的表征，从而提升迁移性能，在病理数据集上相比基线模型实现27%的准确率提升，在评论数据集上实现5%的提升。

ABSTRACT

We introduce a neural method for transfer learning between two (source and target) classification tasks or aspects over the same domain. Rather than training on target labels, we use a few keywords pertaining to source and target aspects indicating sentence relevance instead of document class labels. Documents are encoded by learning to embed and softly select relevant sentences in an aspect-dependent manner. A shared classifier is trained on the source encoded documents and labels, and applied to target encoded documents. We ensure transfer through aspect-adversarial training so that encoded documents are, as sets, aspect-invariant. Experimental results demonstrate that our approach outperforms different baselines and model variants on two datasets, yielding an improvement of 27% on a pathology dataset and 5% on a review dataset.

研究动机与目标

• 解决在仅有源任务标签可用时，如何在相关方面（如病理报告中的癌变和淋巴结浸润）之间迁移分类模型的挑战。
• 通过利用句子级别的方面相关性标注作为弱监督而非完整标签，在同一领域内实现有效的迁移学习。
• 通过对抗性训练学习方面不变的表征，确保编码文档在不同方面关注点不同时仍保持鲁棒性。
• 通过引入词级别自编码器重建损失，提升对抗性训练中的表征质量和稳定性。
• 在跨方面病理分类和评论中的标准领域自适应任务上评估该方法，验证其鲁棒性和泛化能力。

提出的方法

• 模型使用依赖于方面的编码器，通过基于关键词的相关性信号，软性选择并嵌入与特定方面相关的句子。
• 在源标签文档上训练共享分类器，并将其应用于目标编码文档，实现在无目标标签情况下的迁移。
• 训练对抗性领域判别器以区分源和目标方面编码表征，同时优化编码器以欺骗判别器，从而强制实现方面不变性。
• 通过端到端反向传播，联合训练编码器、分类器和判别器，以平衡表征学习与分类任务。
• 引入词级别自编码器重建损失，以稳定对抗性训练并丰富特征表征，减少稀疏性并提升多样性。
• 方法中在编码器与分类器之间引入可学习的变换层，并通过正则化防止过拟合，同时保持表征质量。

实验结果

研究问题

• RQ1 方面相关性关键词能否作为有效的弱监督信号，实现在无目标标签情况下的相关分类任务间迁移学习？
• RQ2 对抗性训练在多大程度上能强制实现同一领域内的方面不变表征，从而提升跨方面的泛化能力？
• RQ3 引入重建损失如何影响句子级别编码中对抗性训练的稳定性和表征质量？
• RQ4 模型性能对可用关键词规则数量的敏感度如何？
• RQ5 该方法是否能在不同NLP任务中实现泛化，如跨方面的病理分类和跨领域的评论情感分析？

主要发现

• 所提出的AAN模型在乳腺病理数据集上的跨方面迁移任务（如从LCIS到ALH）中，相比mSDA基线模型，准确率相对提升了27%。
• 在评论数据集上，该模型在标准领域自适应设置（如酒店评论到餐厅评论）中相比基线模型性能提升了5%。
• 引入重建损失后，表征稀疏性从约85%降低至约30%，显著提升了特征的丰富性和多样性。
• 带有可学习变换层的模型优于使用无限或零正则化的变体，在病理数据集上平均性能提升9.8%。
• 病理数据集上的性能对关键词规则数量较为敏感，而评论数据集由于标签依赖性强，敏感度较低。
• 案例研究显示，对抗性模型成功将领域特定词汇（如“未煮熟”与“陈旧”）映射到相似的不变表征，而非对抗性变体则未能实现这一点。