[논문 리뷰] Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora

Flor Miriam Plaza-del-Arco, María Teresa Martín Valdivia외 1명|arXiv (Cornell University)|2022. 09. 14.

Sentiment Analysis and Opinion Mining인용 수 14

한 줄 요약

이 논문은 다양한 텍스트 코퍼스에서 자연어 추론(NLI) 모델을 사용한 zero-shot 정서 분류를 위한 프롬프트 엔지니어링을 조사한다. 프롬프트의 효과성이 매우 코퍼스에 의존적임을 입증하고, 정서 이름, 동의어, 어휘 기반 개념을 포함한 다수의 프롬프트를 조합한 앙상블 전략을 제안하여 레이블이 없는 훈련 데이터 없이도 다양한 데이터셋에서 강건하고 거의 최적에 가까운 성능을 달성한다.

ABSTRACT

Within textual emotion classification, the set of relevant labels depends on the domain and application scenario and might not be known at the time of model development. This conflicts with the classical paradigm of supervised learning in which the labels need to be predefined. A solution to obtain a model with a flexible set of labels is to use the paradigm of zero-shot learning as a natural language inference task, which in addition adds the advantage of not needing any labeled training data. This raises the question how to prompt a natural language inference model for zero-shot learning emotion classification. Options for prompt formulations include the emotion name anger alone or the statement "This text expresses anger". With this paper, we analyze how sensitive a natural language inference-based zero-shot-learning classifier is to such changes to the prompt under consideration of the corpus: How carefully does the prompt need to be selected? We perform experiments on an established set of emotion datasets presenting different language registers according to different sources (tweets, events, blogs) with three natural language inference models and show that indeed the choice of a particular prompt formulation needs to fit to the corpus. We show that this challenge can be tackled with combinations of multiple prompts. Such ensemble is more robust across corpora than individual prompts and shows nearly the same performance as the individual best prompt for a particular corpus.

연구 동기 및 목표

• 모델 개발 시점에 정서 레이블이 사전 정의되어 있지 않은 zero-shot 환경에서 정서 분류 문제를 해결하기 위해.
• NLI 기반 zero-shot 학습에서 프롬프트 구성 방식이 다양한 텍스트 코퍼스(트윗, 블로그, 이벤트 기술서 등)에서 성능에 미치는 영향을 조사하기 위해.
• 일관된 보편적 프롬프트가 다양한 언어 레지스터에서 작동하는지, 아니면 프롬프트 설계가 코퍼스에 특화되어야 하는지 판단하기 위해.
• 레이블이 없는 데이터가 필요 없이 다양한 코퍼스에서 강건성과 성능을 향상시키는 앙상블 프롬프트 전략을 개발하고 평가하기 위해.
• 정서 표현을 향상시키기 위해 프롬프트에 동의어나 어휘 기반 개념을 통합할 경우의 영향을 탐색하기 위해.

제안 방법

• 정서 레이블 각각을 나타내기 위해 정서 이름, 동의어, 정의, 정서 어휘 사전(예: EmoLex)의 개념을 사용해 정서 프롬프트를 구성한다.
• 세 가지 사전 학습된 NLI 모델(DeBERTa, RoBERTa, BART)을 사용하여 입력 텍스트(전제)와 프롬프트된 정서 레이블(가설) 간의 함의 관계를 판단함으로써 텍스트를 분류한다.
• 다양한 프롬프트 세트의 예측을 조합하는 앙상블 모델을 훈련하고 평가하여 코퍼스 간 강건성을 향상시킨다.
• 성능의 상한선을 제공하기 위해 오라클 앙상블 전략을 사용하여 최상의 프롬프트 조합을 시뮬레이션한다.
• 세 가지 벤치마크 데이터셋(Tec: 트윗, Blogs: 블로그 포스트, ISEAR: 이벤트 기술서)에서 매크로 평균 정밀도, 재현율, F1 점수를 사용해 성능을 평가한다.
• 동일한 데이터셋에서 미세조정된 지도 학습 기반 RoBERTa 베이스라인과 비교하여 성능 기준을 설정한다.

실험 결과

연구 질문

• RQ1 예를 들어 '분노' vs. '이 텍스트는 분노를 표현한다'와 같은 프롬프트 구성의 선택이 다양한 텍스트 코퍼스에서 zero-shot 정서 분류 성능에 어떻게 영향을 미치는가?
• RQ2 프롬프트 효과성이 대상 코퍼스의 언어 레지스터와 애너테이션 스타일에 얼마나 의존하는가?
• RQ3 다양한 코퍼스에서 개별 프롬프트보다 앙상블 방식의 다수 프롬프트가 강건성과 성능을 향상시키는가?
• RQ4 프롬프트에 동의어나 어휘 기반 개념을 통합하면 성능 향상이 이루어지며, 이 효과가 코퍼스에 따라 다를까?
• RQ5 zero-shot NLI 정서 분류에서 개념이 풍부한 다수의 프롬프트를 사용하는 것과 고급 품질의 프롬프트를 소수로 수록하는 것 사이의 성능-비용 트레이드오프는 어떠한가?

주요 결과

• 단일 프롬프트가 모든 코퍼스에서 우수한 성능을 내지 못하며, 프롬프트 효과성이 매우 코퍼스 특화되어 있어 언어 레지스터와 애너테이션 스타일에 따라 성능이 크게 달라진다.
• 다양한 프롬프트의 앙상블은 각 코퍼스에서 최고의 개별 프롬프트와 거의 동일한 성능을 달성하며, 다양한 데이터 소스에 걸쳐 뛰어난 강건성을 보여준다.
• 수동 애너테이션을 사용하며 복잡한 추론이 필요한 Blogs 코퍼스에서는 어휘 기반 프롬프트(예: '선물', '눈물')가 기본 정서 이름보다 성능 향상이著명하다.
• 동의어는 모든 코퍼스에서 일관되게 성능 향상을 이끌었으며, 이는 프롬프트의 의미 다양성이 모델의 일반화 능력을 향상시킨다는 것을 시사한다.
• 오라클 앙상블 모델(각 코퍼스에서 최고 성능을 낸 프롬프트 조합)은 가장 높은 F1 점수(예: ISEAR에서 0.80)를 기록했으며, 이는 다수의 프롬프트가 상호 보완적인 정보를 제공함을 보여준다.
• DeBERTa 모델에 앙상블 프롬프트를 적용한 d-ensemble 모델은 ISEAR에서 F1 점수 0.59를 기록했고, d-emolex 모델(F1=0.40)을 능가하여 프롬프트 다양성의 이점이 확인되었다.