[논문 리뷰] Self-Consistent Narrative Prompts on Abductive Natural Language Inference

Chunkit Chan, Xin Liu외 5명|arXiv (Cornell University)|2023. 09. 15.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 연속적이고 학습 가능한 프롬프트 토큰을 사용하여 문장 간 일관성과 다양한 서사 순서(예: 선형 및 역순 서사)를 활용함으로써 모델 성능을 향상시키는 자기일관성 있는 프롬프트 튜닝 프레임워크인 alpha-PACE를 제안한다. 이 방법은 논리적 연결어를 인코딩하고 다양한 서사 순서 간 일관된 추론을 보장함으로써 강력한 베이스라인을 크게 능가한다.

ABSTRACT

Abduction has long been seen as crucial for narrative comprehension and reasoning about everyday situations. The abductive natural language inference ($α$NLI) task has been proposed, and this narrative text-based task aims to infer the most plausible hypothesis from the candidates given two observations. However, the inter-sentential coherence and the model consistency have not been well exploited in the previous works on this task. In this work, we propose a prompt tuning model $α$-PACE, which takes self-consistency and inter-sentential coherence into consideration. Besides, we propose a general self-consistent framework that considers various narrative sequences (e.g., linear narrative and reverse chronology) for guiding the pre-trained language model in understanding the narrative context of input. We conduct extensive experiments and thorough ablation studies to illustrate the necessity and effectiveness of $α$-PACE. The performance of our method shows significant improvement against extensive competitive baselines.

연구 동기 및 목표

• 기존의 추론 기반 자연어 추론(αNLI) 방법에서의 문장 간 일관성 부족과 모델 일관성 문제를 해결하기 위해.
• 선형 및 역순 서사와 같은 다양한 서사 순서를 모델링하여 맥락적 추론를 향상시키고 서사 이해를 개선하기 위해.
• 입력 변형에 관계없이 의미를 유지하면서 프롬프트 튜닝을 통해 모델 일관성을 감소시키는 자기일관성 있는 프레임워크를 개발하기 위해.
• 논리적 연결어(예: '결과적으로', '그러자')가 추론 기반 추론에서 모델 행동과 일관성에 미치는 영향을 조사하기 위해.
• 연속적이고 학습 가능한 프롬프트가 일관되고 납득할 만한 해석을 유도하는 데서 이산형 또는 무프롬프트보다 우월함을 입증하기 위해.

제안 방법

• 기본 언어 모델(PLM)을 위한 다양한 서사 순서(선형, 역순 서사, 기타)를 고려하는 일반적인 자기일관성 프레임워크를 제안한다.
• 각 서사 순서에 맞는 특정 프롬프트 템플릿을 설계하여 논리적 연결어를 사용해 시간적 및 인과적 관계를 인코딩한다.
• PLM 가중치를 동결하면서도 연속적이고 미분 가능한 프롬프트 토큰을 최적화하는 프롬프트 튜닝을 적용하여 모델 일관성을 확보한다.
• 학습된 프롬프트 임베딩와 논리적 연결어 벡터 간 코사인 유사도를 사용해 모델이 학습한 일관성 패턴을 해석하고 검증한다.
• 다양한 서사 순서 간 다수결 투표를 적용하여 예측의 견고성과 일관성을 향상시킨다.
• 성능 평가를 위해 세 가지 입력 설정(프롬프트 없음, 이산형 연결어 프롬프트, 연속형 클로즈 프롬프트)을 기준으로 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 서사 순서를 통한 문장 간 일관성 통합이 αNLI의 추론 성능에 어떤 영향을 미치는가?
• RQ2 자기일관성 있는 프롬프트 튜닝 프레임워크는 다양한 서사 순서 간 모델 일관성을 어떻게 향상시키는가?
• RQ3 연속적이고 학습 가능한 프롬프트가 일관되고 납득할 만한 가설을 유도하는 데서 이산형 또는 무프롬프트보다 얼마나 뛰어나게 작용하는가?
• RQ4 모델이 학습한 논리적 연결어가 서사 맥락에서 의미 있는 인과적 또는 시간적 관계를 어떻게 반영하는가?
• RQ5 다양한 서사 순서(예: 역순 서사)의 사용이 더 견고하고 정확한 추론 기반 추론을 이끌어내는가?

주요 결과

• 제안된 alpha-PACE 모델은 αNLI 벤치마크에서 강력한 경쟁 베이스라인을 크게 능가하는 성능 향상을 달성한다.
• 연속형 클로즈 프롬프트가 대부분의 서사 순서 패턴에서 이산형 논리적 연결어 프롬프트보다 우월하여, 미분 가능한 프롬프트 학습의 이점을 입증한다.
• 역순 서사 순서가 선형 서사와 유사한 성능을 보이며, 비선형 서사 구조를 효과적으로 처리할 수 있음을 검증한다.
• 모델이 학습한 프롬프트는 '결과적으로', '그러자'와 같은 의미 있는 논리적 연결어와 높은 의미 유사도를 보이며, 문장 간 관계를 효과적으로 인코딩하고 있음을 시사한다.
• 제거 실험을 통해 문장 간 일관성과 자기일관성이 성능 향상에 필수적임을 확인하였으며, 전체 프레임워크가 제거된 변형보다 뛰어난 성능을 보였다.
• 해석 가능성 분석 결과, 모델가 특정 논리적 마커를 인과적 또는 시간적 관계와 연관지켜 서사 일관성을 향상시키고 있음을 확인하였다.