[논문 리뷰] A Logically Consistent Chain-of-Thought Approach for Stance Detection

Bowen Zhang, Daijun Ding외 2명|arXiv (Cornell University)|2023. 12. 26.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 지식의 관련성과 논리적 일관성을 보장하는 LLM 기반의 세 단계 접근법인 논리적으로 일관된 체인 오브 써포트(Logically Consistent Chain-of-Thought, LC-CoT)를 제안한다. 이는 입력 텍스트와 대상에 기반해 외부 지식이 필요한지 평가하고, API 호출을 통해 대상 지식을 검색한 후, 수동으로 준비한 예시를 바탕으로 if-then 논리 템플릿을 적용함으로써, 레이블이 없는 훈련 데이터 없이도 최신 기술 수준의 성능을 달성한다. 이는 SEM16 및 VAST 데이터셋에서 지도 학습 및 CoT 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Zero-shot stance detection (ZSSD) aims to detect stances toward unseen targets. Incorporating background knowledge to enhance transferability between seen and unseen targets constitutes the primary approach of ZSSD. However, these methods often struggle with a knowledge-task disconnect and lack logical consistency in their predictions. To address these issues, we introduce a novel approach named Logically Consistent Chain-of-Thought (LC-CoT) for ZSSD, which improves stance detection by ensuring relevant and logically sound knowledge extraction. LC-CoT employs a three-step process. Initially, it assesses whether supplementary external knowledge is necessary. Subsequently, it uses API calls to retrieve this knowledge, which can be processed by a separate LLM. Finally, a manual exemplar guides the LLM to infer stance categories, using an if-then logical structure to maintain relevance and logical coherence. This structured approach to eliciting background knowledge enhances the model's capability, outperforming traditional supervised methods without relying on labeled data.

연구 동기 및 목표

• 대규모 언어 모델(LLM)을 사용한 제로샷 스탠스 검출(ZSSD)에서 지식-작업 괴리와 논리적 일관성 부족 문제를 해결하기 위해.
• 검색된 배경 지식이 관련성과 논리적 일관성 있는지를 보장함으로써, 새로운 대상으로의 전이 가능성 향상.
• 레이블이 있는 훈련 데이터가 전혀 필요 없이 ZSSD 성능 향상 방법 개발.
• 보다 신뢰할 수 있는 스탠스 예측을 위해 지식 유도 과정에 구조화된 추론(if-then 논리) 통합.

제안 방법

• 이 방법은 먼저 입력 텍스트와 대상에 기반해 스탠스 예측에 외부 지식이 필요한지 LLM을 통해 평가한다.
• 지식이 필요로 한다면, LLM은 외부 LLM 또는 지식 기반에서 관련 배경 정보를 검색하기 위한 API 호출을 생성한다.
• 별도의 LLM이 검색된 지식을 처리하여 맥락적 관련성과 사실적 일관성을 확보한다.
• 최종 추론 단계에서는 수동으로 촉진된 예시와 if-then 논리 구조를 사용해 입력 텍스트와 배경 지식을 조합하여 스탠스 분류를 수행한다.
• 전체 과정은 명시적인 논리적 기초를 제공하는 체인 오브 써포트(CoT)로 구성되어 있어 일관성 유지 및 환각 감소를 도모한다.
• 微조정(fine-tuning)을 피하고, 오직 프롬프트 엔지니어링과 API 기반 지식 검색에 의존한다.

실험 결과

연구 질문

• RQ1 논리적으로 구조화된 체인 오브 써포트 접근법이 지식-작업 괴리를 줄임으로써 제로샷 스탠스 검출 성능을 향상시킬 수 있는가?
• RQ2 지식 적용 단계에서 if-then 논리 추론을 통합할 경우 ZSSD의 예측 일관성과 정확도에 어떤 영향을 미치는가?
• RQ3 레이블이 없는 훈련 데이터 없이 LLM 기반 방법이 지도 학습 모델을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 엔드 투 엔드 프롬프팅에 비해 API 기반의 대상 지식 검색이 새로운 대상으로의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• SEM16 데이터셋에서 LC-CoT는 매크로 F1 스코어 82.9를 기록했으며, 최고의 베이스라인(TarBK)보다 평균적으로 19.5% 높았다.
• VAST 데이터셋에서는 매크로 F1이 72.5로, KASD-ChatGPT보다 5.5% 높고 GPT-CoT보다 10.6% 높았다.
• 크로스 타겟 스탠스 검출에서 LC-CoT는 TPDG 대비 평균 18.1% 향상되었고, PT-HCL 대비 16.3% 향상되어 강력한 일반화 능력을 보였다.
• LC-CoT는 레이블이 없는 훈련 데이터 없이도 SEM16 및 VAST 데이터셋에서 최신 기술 수준의 성능을 달성했다.
• 지식-작업 괴리가 크게 감소하고 논리적 일관성이 향상되어, 다양한 대상 도메인에서 높은 F1 스코어와 안정적인 성능을 기록함으로써 증명되었다.
• 최종 추론 단계에서 if-then 논리 템플릿을 사용함으로써 예측 신뢰성이 향상되었고, 모순되거나 관련 없는 지식 사용이 감소했다.