[论文解读] Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection

Xu Guo, Boyang Li+2 more|arXiv (Cornell University)|Apr 19, 2021

Sentiment Analysis and Opinion Mining参考文献 49被引用 6

一句话总结

本文提出了一种名为潜在优化对抗性神经迁移（LOANT）的新方法，用于跨领域反语检测。该方法通过在潜在空间中进行一步前瞻，使领域特定损失与对抗性损失能够相互协调，从而改善训练动态。LOANT在iSarcasm数据集上实现了新的最先进F分数46.41%，相较于之前的最先进方法提升了10.02个百分点。

ABSTRACT

The existence of multiple datasets for sarcasm detection prompts us to apply transfer learning to exploit their commonality. The adversarial neural transfer (ANT) framework utilizes multiple loss terms that encourage the source-domain and the target-domain feature distributions to be similar while optimizing for domain-specific performance. However, these objectives may be in conflict, which can lead to optimization difficulties and sometimes diminished transfer. We propose a generalized latent optimization strategy that allows different losses to accommodate each other and improves training dynamics. The proposed method outperforms transfer learning and meta-learning baselines. In particular, we achieve 10.02% absolute performance gain over the previous state of the art on the iSarcasm dataset.

研究动机与目标

• 通过在多个数据集之间利用迁移学习，解决小规模、数据量有限的反语数据集带来的挑战。
• 解决对抗性神经迁移（ANT）中领域特定损失与对抗性损失之间的优化冲突问题。
• 通过引入潜在优化策略，改善跨领域反语检测的训练动态与性能表现。
• 在iSarcasm和SemEval-18等基准数据集上建立反语检测的新最先进水平。

提出的方法

• 提出一种潜在优化对抗性神经迁移（LOANT）框架，该框架在潜在表示空间中执行带一步前瞻的随机梯度下降。
• 引入一种潜在优化策略，使领域特定损失能够适应负领域判别损失，从而提升训练稳定性。
• 使用领域判别器来对齐源域与目标域之间的共享特征分布，同时保持领域特定的性能表现。
• 采用多任务学习设置结合对抗性训练，使模型在领域特定分类与领域不变特征学习之间联合优化。
• 采用一种受模型无关元学习（MAML）启发的一般性前瞻机制，但该机制在潜在空间中运行，而非模型参数空间。
• 采用基于BERT的编码器生成上下文相关的句子表征，并通过所提出的优化策略端到端微调整个架构。

实验结果

研究问题

• RQ1 对抗性神经迁移能否有效将来自大规模、噪声较大的反语数据集的知识迁移到小规模、人工标注的数据集中？
• RQ2 在对抗性迁移学习中，如何调和领域特定性能与领域不变特征学习之间的冲突目标，以改善优化过程与模型性能？
• RQ3 在潜在空间中执行一步前瞻，是否相比标准对抗性训练或元学习方法，能带来更优的训练动态与更高的迁移性能？
• RQ4 以unigram分布的KL散度衡量的领域差异，如何影响所提方法的性能增益？

主要发现

• LOANT在iSarcasm数据集上实现了46.41%的新SOTA F分数，相较于之前的SOTA方法绝对提升了10.02个百分点。
• 在四种迁移学习设置下，LOANT平均比传统对抗性神经迁移（ANT）提升3.42%的F分数。
• 与基于MAML的基线相比，LOANT在F分数上平均高出4.83%，证明了潜在空间优化相较于参数空间优化的优越性。
• 最大的性能增益（7.85%）出现在Ptáček → iSarcasm的迁移任务中，此时领域差异最小，表明LO在领域相似时效果最佳。
• 潜在优化显著降低了计算成本：ANT+MAML使运行时间增加3.1倍，内存使用量接近翻倍，而LOANT仅给ANT带来极小的额外开销。
• KL散度分析表明，当源域与目标域更相似时，LO带来的性能增益最为显著，验证了该方法对领域差异的敏感性。