[논문 리뷰] Reasoning Implicit Sentiment with Chain-of-Thought Prompting

Hao Fei, Bobo Li외 4명|arXiv (Cornell University)|2023. 05. 18.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 세 단계의 사고 흐름 프롬프팅 프레임워크인 ThoR를 제안하며, 세분화된 요소, 잠재적 의견, 최종 감성 극성에 대해 순차적으로 추론함으로써 암묵적 감성 분석(ISA)을 향상시킨다. 대규모 언어 모델(LLM)을 구조화된 사고 흐름 프롬프팅과 자기 일관성 기반으로 활용함으로써, GPT-3(175B)를 사용한 제로샷 ISA에서 기준 모델 대비 F1 점수 51.10% 향상시키며, 이는 이전의 방법들을 크게 앞서는 성능을 보인다.

ABSTRACT

While sentiment analysis systems try to determine the sentiment polarities of given targets based on the key opinion expressions in input texts, in implicit sentiment analysis (ISA) the opinion cues come in an implicit and obscure manner. Thus detecting implicit sentiment requires the common-sense and multi-hop reasoning ability to infer the latent intent of opinion. Inspired by the recent chain-of-thought (CoT) idea, in this work we introduce a Three-hop Reasoning (THOR) CoT framework to mimic the human-like reasoning process for ISA. We design a three-step prompting principle for THOR to step-by-step induce the implicit aspect, opinion, and finally the sentiment polarity. Our THOR+Flan-T5 (11B) pushes the state-of-the-art (SoTA) by over 6% F1 on supervised setup. More strikingly, THOR+GPT3 (175B) boosts the SoTA by over 50% F1 on zero-shot setting. Our code is open at https://github.com/scofield7419/THOR-ISA.

연구 동기 및 목표

• 의견 신호가 존재하지 않거나 음영을 띠는 암묵적 감성 분석(ISA) 문제를 해결하기 위해 공통 지식과 다단계 추론이 필요하다는 도전 과제를 다루기 위해.
• 단계별 추론을 통해 인간과 유사한 사고 방식을 모방함으로써 ISA에서 감성 예측 정확도를 향상시키기 위해.
• 사고 흐름(CoT) 프롬프팅 패러다임을 특히 암묵적 감성 탐지에 적합한 감성 분석 분야로 확장하기 위해.
• 대규모 언어 모델(LLM)을 활용한 구조적이고 점진적인 추론이 제로샷 및 지도 학습 설정에서 직접 예측 방식보다 현저히 뛰어나다는 것을 입증하기 위해.

제안 방법

• 목표의 세분화된 요소를 먼저 추론하고, 그 다음 잠재적 의견을 추론한 다음, 마지막으로 감성 극성에 도달하는 세 단계 프롬프팅 프레임워크를 설계하기 위해.
• 여러 개의 추론 경로를 통해 후보 답변의 투표 일관성이 높은 경우를 선택함으로써 추론의 신뢰성을 향상시키기 위한 자기 일관성 메커니즘을 구현하기 위해.
• 중간 추론 출력을 최종 레이블 예측의 입력으로 사용하고, 정답 애너테이션을 기반으로 가이드하는 방식으로, 지도 학습을 위한 추론 수정 방법을 도입하기 위해.
• Flan-T5(11B)와 GPT-3(175B)와 같은 대규모 언어 모델(LLM)을 백본으로 사용하여 세계 지식과 추론 능력을 활용하기 위해.
• 중간 추론 단계를 유도하기 위해 CoT 프롬프팅을 적용하여, 모델이 직접 레이블 예측자가 아니라 다단계 추론자로 작동하도록 전환하기 위해.
• 일반화 능력과 성능 향상을 평가하기 위해 프레임워크를 제로샷 및 지도 학습 미세조정 설정에 통합하기 위해.

실험 결과

연구 질문

• RQ1 사고 흐름 프롬프팅이 대규모 언어 모델(LLM)에서 단계별 추론을 가능하게 함으로써 암묵적 감성 분석을 효과적으로 향상시킬 수 있는가?
• RQ2 세 단계 추론(요소 → 의견 → 극성)이 직접 분류 방식과 비교해 감성 예측을 어떻게 향상시키는가?
• RQ3 모델 스케일이 제로샷 및 지도 학습 설정에서 ThoR 프레임워크의 성능 향상에 얼마나 기여하는가?
• RQ4 추론 경로의 자기 일관성이 암묵적 감성 탐지에서 정확도를 높이고 오류율을 낮추는 데 어떻게 기여하는가?
• RQ5 ThoR의 주요 실패 유형은 무엇이며, 제로샷과 미세조정된 설정 간에 어떻게 다름이 있는가?

주요 결과

• ThoR + Flan-T5(11B)는 지도 학습 설정에서 최고의 기준 모델 대비 F1 점수 6% 이상 향상되었다.
• ThoR + GPT-3(175B)는 제로샷 설정에서 기준 모델 대비 상대적 F1 점수 51.10% 향상되었으며, 강력한 일반화 능력을 입증했다.
• Flan-T5-11B를 사용한 제로샷 ThoR의 오류율은 미세조정 시 48.27%에서 12.79%로 감소하여, 지도 학습이 추론 품질 향상에 기여한다는 것을 보여주었다.
• 실패 분석 결과, 비지도 학습 GPT-3 오류의 주요 원인은 노이즈가 많은 데이터 애너테이션에 기인한 반면, 미세조정된 T5 모델은 더러운 상관관계를 학습하는 경향이 있었다.
• ThoR의 성능 향상은 더 큰 모델에서 더 두드러지게 나타나, 그 효과가 대규모 LLM의 잠재적 추론 능력과 밀접하게 연관되어 있음을 확인했다.
• ThoR는 사고 흐름 프롬프팅을 암묵적 감성 분석에 성공적으로 적용한 최초의 사례로, 제로샷 및 지도 학습 설정에서 모두 새로운 SOTA 성능을 확립했다.