[논문 리뷰] Stance Reasoner: Zero-Shot Stance Detection on Social Media with Explicit Reasoning

Maksym Taranukhin, Vered Shwartz외 1명|arXiv (Cornell University)|2024. 03. 22.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

Stance Reasoner는 배경 지식에 기반한 명시적이고 해석 가능한 추론을 통해 사전 훈련된 언어 모델을 활용한 인코어드 컨텍스트 학습을 통해 소셜 미디어에서 제로샷 스탠스 검출을 위한 프레임워크를 제안한다. 이는 세 개의 트위터 데이터셋에서 최신 기술을 초월하며, 새로운 타겟에 대한 일반화 능력을 향상시키는 투명하고 지식 기반의 추론 단계를 제공한다.

ABSTRACT

Social media platforms are rich sources of opinionated content. Stance detection allows the automatic extraction of users' opinions on various topics from such content. We focus on zero-shot stance detection, where the model's success relies on (a) having knowledge about the target topic; and (b) learning general reasoning strategies that can be employed for new topics. We present Stance Reasoner, an approach to zero-shot stance detection on social media that leverages explicit reasoning over background knowledge to guide the model's inference about the document's stance on a target. Specifically, our method uses a pre-trained language model as a source of world knowledge, with the chain-of-thought in-context learning approach to generate intermediate reasoning steps. Stance Reasoner outperforms the current state-of-the-art models on 3 Twitter datasets, including fully supervised models. It can better generalize across targets, while at the same time providing explicit and interpretable explanations for its predictions.

연구 동기 및 목표

• 모델이 미세조정 없이도 새로운 타겟에 일반화할 수 있도록 제로샷 스탠스 검출의 과제를 해결하기 위해.
• 훈련 타겟에 과적합하고 해석이 어려운 감독 모델의 한계를 극복하기 위해.
• 사전 훈련된 언어 모델과 배경 지식에 기반한 구조적 추론을 융합하여 일반화 능력을 향상시키기 위해.
• 스탠스 예측을 위한 명시적이고 인간이 읽을 수 있는 설명을 생성하여 오류 탐지와 모델 디버깅을 가능하게 하기 위해.
• 태스크에 특화된 미세조정 없이도 다양한 주제와 도메인에 걸쳐 일반화할 수 있는 방법을 개발하기 위해.

제안 방법

• 최적화된 프롬프트를 사용하여 사전 훈련된 언어 모델이 스탠스 예측을 위한 중간 추론 단계를 생성하도록 유도하는 인코어드 컨텍스트 학습을 활용한다.
• 예를 들어 @POTUS = 미국 대통령와 같이 타겟에 대한 배경 지식을 명시적 프롬프트 엔지니어링을 통해 통합한다.
• 사전 추론 체인에서 전제에서 결론으로 이르는 구조적 추론 체인을 생성하기 위해 체인 오브 톰(Chain-of-Thought, CoT) 프롬프팅을 적용한다.
• 모델은 미세조정되지 않았으며, 대신 다양한 추론 전략을 가진 소수의 예시를 통해 추론을 유도한다.
• 입력당 여러 개의 추론 체인을 생성하고, 예측을 다수결 투표 방식으로 집계하여 정확도를 높인다.
• 이 프레임워크는 추론 단계가 수동으로 검증 가능하고 애너테이션 오류 탐지에 사용될 수 있도록 해석 가능하도록 설계되었다.

Figure 2: The impact of the number of sampled reasonings on the performance of Stance Reasoner. The performance increases with the number of samples.

실험 결과

연구 질문

• RQ1 배경 지식에 기반한 명시적 추론이 새로운 타겟에 대한 제로샷 스탠스 검출 성능을 향상시키는가?
• RQ2 인코어드 컨텍스트 예시 내 추론 전략의 다양성이 모델의 일반화에 어떤 영향을 미치는가?
• RQ3 미세조정되지 않은 프롬프트 기반 접근 방식이 제로샷 스탠스 검출에서 완전히 감독된 최신 기술 모델을 능가할 수 있는가?
• RQ4 생성된 추론 체인이 모델의 해석 가능성과 오류 탐지 능력을 얼마나 향상시키는가?
• RQ5 이 방법은 짧은 소셜 미디어 게시물 이외의 다양한 도메인과 텍스트 유형에서도 얼마나 잘 일반화되는가?

주요 결과

• Stance Reasoner는 세 개의 공개 트위터 스탠스 검출 데이터셋에서 완전히 감독된 최신 기술 모델을 포함한 모든 베이스라인 모델을 능가한다.
• 모델은 새로운 타겟에 대해 뛰어난 일반화 능력을 보이며, 주제 간 추론 전략의 효과적 전이를 시사한다.
• 생성된 추론 체인은 해석 가능하며, 애너테이션 오류와 모호한 예시를 식별하는 데 사용될 수 있다.
• 인코어드 컨텍스트 예시 내 추론 전략의 다양성이 성능 향상에 기여함을 보여주며, 추론 다양성의 중요성을 강조한다.
• 모델은 미세조정 없이도 높은 성능을 유지하며, 오직 프롬프트 엔지니어링과 인코어드 컨텍스트 학습에 의존한다.
• 모델의 추론은 많은 경우에 충실하지만, 충실성이 보장되지는 않으며, 비유나 풍자와 같은 복잡한 경우에서는 수동 검증이 여전히 필수적이다.