[논문 리뷰] FaiMA: Feature-aware In-context Learning for Multi-domain Aspect-based Sentiment Analysis

Songhua Yang, Xinke Jiang외 4명|arXiv (Cornell University)|2024. 03. 02.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

FaiMA는 그래프 신경망과 대규모 언어 모델을 히우리스틱 최적화된 특징 인코딩과 대조 학습을 통해 통합하는 특징 인식형 인-컨텍스트 학습 프레임워크를 제안한다. 이는 맥락 인식 프롬프팅을 위한 안정적이고 다차원적 예시 검색을 가능하게 하여 기준 모델 대비 평균 F1 점수 2.07% 향상시킨다.

ABSTRACT

Multi-domain aspect-based sentiment analysis (ABSA) seeks to capture fine-grained sentiment across diverse domains. While existing research narrowly focuses on single-domain applications constrained by methodological limitations and data scarcity, the reality is that sentiment naturally traverses multiple domains. Although large language models (LLMs) offer a promising solution for ABSA, it is difficult to integrate effectively with established techniques, including graph-based models and linguistics, because modifying their internal architecture is not easy. To alleviate this problem, we propose a novel framework, Feature-aware In-context Learning for Multi-domain ABSA (FaiMA). The core insight of FaiMA is to utilize in-context learning (ICL) as a feature-aware mechanism that facilitates adaptive learning in multi-domain ABSA tasks. Specifically, we employ a multi-head graph attention network as a text encoder optimized by heuristic rules for linguistic, domain, and sentiment features. Through contrastive learning, we optimize sentence representations by focusing on these diverse features. Additionally, we construct an efficient indexing mechanism, allowing FaiMA to stably retrieve highly relevant examples across multiple dimensions for any given input. To evaluate the efficacy of FaiMA, we build the first multi-domain ABSA benchmark dataset. Extensive experimental results demonstrate that FaiMA achieves significant performance improvements in multiple domains compared to baselines, increasing F1 by 2.07% on average. Source code and data sets are anonymously available at https://github.com/SupritYoung/FaiMA.

연구 동기 및 목표

• 다양한 도메인 간 일반화가 어려운 분야에서 단일 도메인 방법이 데이터 부족과 도메인 이동으로 인해 실패하는 문제를 해결하기 위해.
• 모델 아키텍처 수정 없이 언어적, 도메인 특화, 감성 특징을 대규모 언어 모델에 통합하기 위해.
• 인-컨텍스트 학습 성능을 향상시키기 위해 안정적이고 다차원적 예시 검색 메커니즘을 개발하기 위해.
• 표준화된 평가를 위한 첫 번째 종합적인 다중 도메인 ABSA 벤치마크 데이터셋을 구축하기 위해.
• 인-컨텍스트 학습이 구조적이고 대표적인 예시에 의해 이끌릴 경우 기능 인식 메커니즘으로 기능할 수 있음을 입증하기 위해.

제안 방법

• FaiMA는 언어적, 도메인, 감성 특징에 대해 히우리스틱 규칙을 최적화한 다중 헤드 그래프 어텐션 네트워크를 텍스트 인코더로 사용한다.
• 다양한 특징 기반 신호를 강조함으로써 문장 표현을 개선하기 위해 대조 학습을 적용한다.
• 입력에 관계없이 여러 특징 차원에서 높은 관련성을 가진 예시를 안정적으로 검색할 수 있는 효율적인 색인 메커니즘이 구현된다.
• 인-컨텍스트 학습은 검색된 예시를 프롬프트에 통합하여 LLM을 이끌기 위해 기능 인식 메커니즘으로 활용된다.
• LLM의 내부 아키텍처를 수정하지 않고도 그래프 기반 인코딩을 LLM과 통합한다.
• 동적 예시 선택을 통해 다양한 도메인에서 제로샷 및 패스트 샷 적응을 지원한다.

실험 결과

연구 질문

• RQ1 인-컨텍스트 학습은 다중 도메인 ABSA에서 효과적으로 기능 인식 메커니즘으로 재사용될 수 있는가?
• RQ2 언어적, 도메인, 감성 특징는 LLM 기반 ABSA에 대해 체계적으로 어떻게 인코딩하고 최적화할 수 있는가?
• RQ3 대조 학습은 다중 도메인 ABSA에서 문장 표현 품질에 어떤 영향을 미치는가?
• RQ4 안정적이고 다차원적 예시 검색은 인-컨텍스트 학습 성능을 어떻게 향상시키는가?
• RQ5 일관된 프레임워크는 편향 조정 없이 다양한 도메인으로 일반화할 수 있는 정도는 어느 정도인가?

주요 결과

• FaiMA는 여러 도메인에서 강력한 기준 모델 대비 평균 F1 점수 2.07% 향상시켰다.
• 그래프 기반 특징 인코딩과 인-컨텍스트 학습의 통합은 모델의 일반화 능력과 강건성에 크게 기여한다.
• 제안된 색인 메커니즘은 언어적, 도메인, 감성 특징 전반에서 관련 예시를 신뢰성 있게 검색할 수 있도록 한다.
• 대조 학습은 다양한 특징 신호를 강조함으로써 문장 표현 품질을 효과적으로 향상시킨다.
• 새로 구축한 다중 도메인 ABSA 벤치마크에서 FaiMA는 제로샷 및 패스트 샷 성능이 뛰어나다.
• FaiMA는 기존 방법보다 단일 도메인 및 크로스 도메인 설정 모두에서 뛰어난 성능을 보이며, 일반화 능력을 입증한다.