[논문 리뷰] Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds

Victoria Basmov, Yoav Goldberg외 1명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 ChatGPT가 문법적으로 명시된 함의, 불확실성의 증거 부사, 단조성 함의와 같은 단순한 언어적 함의를 다룰 때의 한계를 조사한다. 인간에게는 단순한 작업임에도 불구하고, 모델은 직접 질문을 받을 땐 기초 개념을 이해하지만, 제로샷 추론 작업에서는 이 지식을 적용하지 못함을 보여준다. 이는 전제 조건을 유도하는 요소와 비요구성 동사가 추론 예측을 왜곡하는 '맹점'을 드러내며, 표면적 유창성 이상의 체계적인 추론 결함을 드러낸다.

ABSTRACT

We evaluate LLMs' language understanding capacities on simple inference tasks that most humans find trivial. Specifically, we target (i) grammatically-specified entailments, (ii) premises with evidential adverbs of uncertainty, and (iii) monotonicity entailments. We design evaluation sets for these tasks and conduct experiments in both zero-shot and chain-of-thought setups, and with multiple prompts and LLMs. The models exhibit moderate to low performance on these evaluation sets. Subsequent experiments show that embedding the premise in syntactic constructions that should preserve the entailment relations (presupposition triggers) or change them (non-factives), further confuses the models, causing them to either under-predict or over-predict certain entailment labels regardless of the true relation, and often disregarding the nature of the embedding context. Overall these results suggest that, despite LLMs' celebrated language understanding capacity, even the strongest models have blindspots with respect to certain types of entailments, and certain information-packaging structures act as ``blinds'' overshadowing the semantics of the embedded premise.

연구 동기 및 목표

• 사람에게는 단순한 작업이지만 모델에겐 도전적인 간단한 언어적 함의 작업에서 ChatGPT의 성능을 조사하는 것.
• ChatGPT가 직접 질문을 받을 때 보여주는 언어 지식을 실제로 추론 작업에 일관되게 적용할 수 있는지 검토하는 것.
• 전제 문장을 전제 조건 또는 비요구성적 문맥에 삽입할 경우 추론 정확도에 어떤 영향을 미치는지 분석하는 것.
• 함의 예측을 왜곡하는 입력 문장의 구조적 특징을 특정하여 '맹점'으로 규명하는 것.
• 고위험 응용 분야에서 대규모 언어 모델의 신뢰성과 신뢰도를 이해하는 데 기여하는 것.

제안 방법

• 세 가지 유형의 함의 유형—문법적으로 명시된 함의, 증거 부사(예: supposedly), 단조성 함의(상향/하향)—에 대해 전문가가 설계한 테스트 세트를 수작업으로 정제한 것.
• 피팅 조정이나 사고의 사슬 프롬프팅 없이, 제로샷 평가를 통해 ChatGPT를 이 테스트 세트에 적용한 것.
• 명시적인 정의와 사용 질문을 통해 ChatGPT의 언어 개념에 대한 지식을 직접 조사한 것.
• 전제 문장을 전제 조건을 유도하는 요소(예: 'He realized that...')와 비요구성 동사(예: 'They thought that...') 아래에 삽입하여 체계적으로 수정한 것.
• 다양한 삽입 구조와 제어 조건 간의 추론 정확도를 정량적으로 비교한 것.
• 다양한 추론 유형에 걸쳐 모델의 행동을 분석하여 체계적 편향과 일관성 없는 점을 탐지한 것.

Figure 1: High-level summary of the experiments and results.

실험 결과

연구 질문

• RQ1 ChatGPT는 '어떤 사람'으로 명사 대체를 통해 문법적으로 명시된 경우의 함의 관계를 올바르게 추론하는가?
• RQ2 예를 들어 'supposedly'와 같은 증거 부사의 존재가 ChatGPT의 함의 평가 능력에 어떤 영향을 미치는가?
• RQ3 ChatGPT는 간단한 집합 소속 추론에서 단조성 원칙(상향/하향 함의)을 올바르게 적용할 수 있는가?
• RQ4 ChatGPT의 언어 개념 이해 수준이 실제 추론 작업으로 이어지는 정도는 어느 정도인가?
• RQ5 전제 조건을 유도하는 요소나 비요구성 동사가 모델이 함의를 예측하는 데 체계적으로 영향을 미치며, 의미적 진리 여부와는 무관하게 함의를 예측하도록 유도하는가?

주요 결과

• ChatGPT는 직접 질문을 받을 때 개념을 올바르게 설명하지만, 문법적으로 명시된 함의 작업에서는 중간에서 낮은 정확도를 보인다.
• 모델는 'purportedly'와 같은 증거 부사가 함의를 차단한다는 것을 자주 인식하지 못하며, 전제가 불확실한 경우조차도 잘못된 함의를 예측한다.
• ChatGPT는 단조성 함의에서 어려움을 겪으며, 간단한 집합 소속 사례에서 부분집합에서 초월집합으로 또는 그 반대로 잘못된 함의를 이끌어낸다.
• 전제 문장을 'He realized that...'와 같이 전제 조건을 유도하는 요소 아래에 삽입하면, 의미적 내용이 함의를 위반하더라도 모델은 함의를 예측하는 빈도가 유의미하게 증가한다.
• 유사하게, 전제 문장을 'They thought that...'와 같이 비요구성 동사 아래에 삽입하면, 올바른 의미적 레이블과는 무관하게 함의 예측 경향이 강하게 나타난다.
• 모델는 지식 적용에 일관성이 없음을 보이며, 언어 규칙을 이해하지만 추론 작업에서는 이를 적용하지 못함을 보여주며, 묘사 지식와 추론 능력 사이의 격차를 드러낸다.

Figure 2: ChatGPT demonstrates its understanding of the meaning and implications of evidential adverbs when prompted for it directly.