[论文解读] FaiMA: Feature-aware In-context Learning for Multi-domain Aspect-based Sentiment Analysis

Songhua Yang, Xinke Jiang+4 more|arXiv (Cornell University)|Mar 2, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

FaiMA 提出了一种用于多领域方面感知情感分析的特征感知上下文学习框架，通过启发式优化的特征编码与对比学习，将图神经网络与大语言模型相结合。该方法通过实现上下文感知提示的稳定、多维样本检索，使平均 F1 提升 2.07%。

ABSTRACT

Multi-domain aspect-based sentiment analysis (ABSA) seeks to capture fine-grained sentiment across diverse domains. While existing research narrowly focuses on single-domain applications constrained by methodological limitations and data scarcity, the reality is that sentiment naturally traverses multiple domains. Although large language models (LLMs) offer a promising solution for ABSA, it is difficult to integrate effectively with established techniques, including graph-based models and linguistics, because modifying their internal architecture is not easy. To alleviate this problem, we propose a novel framework, Feature-aware In-context Learning for Multi-domain ABSA (FaiMA). The core insight of FaiMA is to utilize in-context learning (ICL) as a feature-aware mechanism that facilitates adaptive learning in multi-domain ABSA tasks. Specifically, we employ a multi-head graph attention network as a text encoder optimized by heuristic rules for linguistic, domain, and sentiment features. Through contrastive learning, we optimize sentence representations by focusing on these diverse features. Additionally, we construct an efficient indexing mechanism, allowing FaiMA to stably retrieve highly relevant examples across multiple dimensions for any given input. To evaluate the efficacy of FaiMA, we build the first multi-domain ABSA benchmark dataset. Extensive experimental results demonstrate that FaiMA achieves significant performance improvements in multiple domains compared to baselines, increasing F1 by 2.07% on average. Source code and data sets are anonymously available at https://github.com/SupritYoung/FaiMA.

研究动机与目标

• 为解决在多样化领域中泛化方面感知情感分析的挑战，因数据稀缺与领域分布偏移，单领域方法表现不佳。
• 在不修改模型架构的前提下，将语言、领域特定与情感特征整合进大语言模型。
• 开发一种稳定、多维的样本检索机制，以提升上下文学习性能。
• 构建首个全面的多领域 ABSA 基准数据集，以实现标准化评估。
• 证明当由结构化、代表性样本引导时，上下文学习可作为特征感知机制发挥作用。

提出的方法

• FaiMA 采用多头图注意力网络作为文本编码器，通过启发式规则优化语言、领域与情感特征的表示。
• 应用对比学习，通过强调多样化特征特定信号，优化句子表示。
• 高效的索引机制可实现对任意输入在多个特征维度上稳定检索高度相关的样本。
• 利用上下文学习作为特征感知机制，将检索到的样本整合进提示中，引导大语言模型生成。
• 该框架在不修改大语言模型内部架构的前提下，实现基于图的编码与大语言模型的融合。
• 通过动态样本选择，支持在多个领域中实现零样本与少样本适应。

实验结果

研究问题

• RQ1 在多领域 ABSA 中，上下文学习能否被有效重构为一种特征感知机制？
• RQ2 如何系统性地编码并优化语言、领域与情感特征，以适配基于大语言模型的 ABSA？
• RQ3 对比学习对多领域 ABSA 中句子表示质量有何影响？
• RQ4 稳定、多维的样本检索如何提升上下文学习性能？
• RQ5 在不进行微调的情况下，统一框架在多样化领域中的泛化能力达到何种程度？

主要发现

• FaiMA 在多个领域上相较强基线模型实现了平均 2.07% 的 F1 提升。
• 将基于图的特征编码与上下文学习相结合，显著增强了模型的泛化能力与鲁棒性。
• 所提出的索引机制可实现对语言、领域与情感特征维度下相关样本的可靠检索。
• 对比学习通过强调多样化特征信号，有效提升了句子表示质量。
• 该框架在新构建的多领域 ABSA 基准数据集上展现出强大的零样本与少样本性能。
• FaiMA 在单领域与跨领域设置下均优于现有方法，验证了其卓越的泛化能力。