[论文解读] A Comprehensive Understanding of Code-mixed Language Semantics using Hierarchical Transformer

Ayan Sengupta, Tharun Suresh+2 more|arXiv (Cornell University)|Apr 27, 2022

Text Readability and Simplification被引用 5

一句话总结

本文提出HIT（分层Transformer），一种结合多头自注意力与外积注意力的多层级注意力模型，用于学习跨6种印度语言和西班牙语的混合语料中鲁棒的分层表征。HIT在9项NLP任务上超越了最先进模型，尤其在零样本学习和掩码语言建模任务中表现显著，展现出在低资源、词形丰富的混合语境下强大的泛化能力与语义鲁棒性。

ABSTRACT

Being a popular mode of text-based communication in multilingual communities, code-mixing in online social media has became an important subject to study. Learning the semantics and morphology of code-mixed language remains a key challenge, due to scarcity of data and unavailability of robust and language-invariant representation learning technique. Any morphologically-rich language can benefit from character, subword, and word-level embeddings, aiding in learning meaningful correlations. In this paper, we explore a hierarchical transformer-based architecture (HIT) to learn the semantics of code-mixed languages. HIT consists of multi-headed self-attention and outer product attention components to simultaneously comprehend the semantic and syntactic structures of code-mixed texts. We evaluate the proposed method across 6 Indian languages (Bengali, Gujarati, Hindi, Tamil, Telugu and Malayalam) and Spanish for 9 NLP tasks on 17 datasets. The HIT model outperforms state-of-the-art code-mixed representation learning and multilingual language models in all tasks. We further demonstrate the generalizability of the HIT architecture using masked language modeling-based pre-training, zero-shot learning, and transfer learning approaches. Our empirical results show that the pre-training objectives significantly improve the performance on downstream tasks.

研究动机与目标

• 为解决在低资源、词形丰富的语言中学习鲁棒的、与语言无关的混合语表征的挑战。
• 开发一种统一架构，同时捕捉混合语料中的语义、句法和子词层级结构。
• 评估模型在多种NLP任务（包括分类、序列标注和生成）中的泛化能力。
• 探究掩码语言建模和零样本学习在无需显式监督下提升表征学习效果的有效性。
• 为多语言、低资源环境下的混合语理解提供可复用、可重现的框架。

提出的方法

• HIT采用分层注意力机制，整合多头自注意力与外积注意力，以建模混合语料中序列内与序列间依赖关系。
• 通过融合字符级、子词级和词级表征，构建适用于词形丰富的语言的鲁棒上下文嵌入。
• 提出一种新型融合注意力机制（FAME），通过联合捕捉注意力头中的语义与句法结构，提升混合序列的建模能力。
• 通过掩码语言建模（MLM）进行预训练，以提升上下文表征学习能力，即使在噪声大、非正式的混合语文本中亦有效。
• 通过联合训练情感、讽刺和幽默分类任务，实现零样本学习，使模型能学习跨任务的共享语义空间。
• 在17个数据集上应用迁移学习，涵盖9项NLP任务，包括意图识别、槽位填充和对话场景下的响应生成。

实验结果

研究问题

• RQ1 分层Transformer架构能否在多种印度语言和西班牙语中有效学习统一的、与任务无关的混合语表征？
• RQ2 与标准注意力机制相比，融合注意力机制（FAME）在混合序列中如何提升语义与句法建模能力？
• RQ3 掩码语言建模预训练在多大程度上增强了混合语表征的鲁棒性与聚类效果？
• RQ4 模型是否能在未微调标注数据的情况下，在下游任务中实现强大的零样本性能？
• RQ5 所学表征在不同NLP任务（包括分类、序列标注和文本生成）中的泛化能力如何？

主要发现

• HIT在17个数据集涵盖6种印度语言和西班牙语的全部9项NLP任务中均优于最先进模型。
• 在情感分类任务中，采用MLM预训练的HIT模型获得0.536的轮廓系数与0.612的戴维斯-鲍丁指数，显著优于未预训练版本（轮廓系数：0.379，DB指数：0.997）。
• 在讽刺分类任务中，MLM预训练的HIT模型较未预训练变体实现轮廓系数+0.262的提升与DB指数-0.585的降低。
• 在零样本学习中，模型能有效将语义相似的类别（如非幽默、非讽刺与中性）分组，预测概率间皮尔逊相关系数达0.74（p ≤ 0.01）。
• 在对话生成任务中，模型能生成语义连贯的响应，但偶尔会误判意图（如推荐马来西亚菜而非波斯菜）。
• 嵌入的谱分析结果表明，预训练使语义相似的混合语文本表征更紧密、更凝聚。