[논문 리뷰] Can Peanuts Fall in Love with Distributional Semantics?

James A. Michaelov, Seana Coulson외 1명|arXiv (Cornell University)|2023. 01. 20.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 네덜스어 언어 모델과 단어 벡터를 통해 분포적 언어 지식이 상황 모델에 의해 좌우되던 N400 맥락 효과를 설명할 수 있는지 테스트하고, 여러 모델에서 어휘 기초 priming의 충분성에 대한 증거를 발견합니다.

ABSTRACT

Context changes expectations about upcoming words - following a story involving an anthropomorphic peanut, comprehenders expect the sentence the peanut was in love more than the peanut was salted, as indexed by N400 amplitude (Nieuwland & van Berkum, 2006). This updating of expectations has been explained using Situation Models - mental representations of a described event. However, recent work showing that N400 amplitude is predictable from distributional information alone raises the question whether situation models are necessary for these contextual effects. We model the results of Nieuwland and van Berkum (2006) using six computational language models and three sets of word vectors, none of which have explicit situation models or semantic grounding. We find that a subset of these can fully model the effect found by Nieuwland and van Berkum (2006). Thus, at least some processing effects normally explained through situation models may not in fact require explicit situation models.

연구 동기 및 목표

• N400 맥락 효과가 상황 모델을 필요로 하는지, 아니면 분포적 언어 통계에서 기인할 수 있는지의 질문을 제시합니다.
• 여섯 개의 네덜란드어 트랜스포머 언어 모델이 N400 연구에서 관찰된 정합성(정상성) 역전 및 감소 효과를 보이는지 테스트합니다.
• 세 가지 네덜란드어 단어 벡터 세트가 코사인 유사도 측정을 통해 비슷한 효과를 보이는지 확인합니다.
• 전체 이야기 맥락과 중요한 문맥에서 예측의 맥락 의존성을 평가합니다.
• 분포적 정보가 명시적 grounded 의미 없이 인간 데이터 설명에 충분한지 평가합니다.

제안 방법

• 네덜란드어 N400 연구의 자극을 사용하고 두 가지 변형: 사건 수준 priming과 어휘 priming을 테스트합니다.
• 프리트레인된 여섯 개의 네덜란드어 언어 모델(GPT-2 Medium/Large, GPT-Neo 125M/1.3B, BERTje, RobBERT)을 실행하여 선행 맥락이 주어진 주요 단어의 surprisal을 계산합니다.
• 각 모델에서 주요 단어의 음의 로그 확률로 surprisal을 계산합니다.
• 세 가지 네덜란드어 단어 벡터 세트(fastText, COW, Combined)에 대해 선행 맥락 단어의 평균 벡터와 주요 단어 벡터 간의 코사인 거리를 계산합니다.
• 선형 혼합효과 모델을 적합시켜 감소 효과를 테스트합니다(술어 유형과 자극 길이 간의 상호작용) 및 다중 비교 보정을 통한 역전 효과에 대한 쌍별 t-테스트를 수행합니다.
• 분포적 정보가 N400 맥락 효과를 설명하는지 모델 적합도와 유의성을 보고합니다.

실험 결과

연구 질문

• RQ1 네덜란드어 언어 모델의 분포 정보가 상황 모델을 명시적으로 사용하지 않고도 N400 연구에서 보이는 맥락 의존 감소 및 역전 효과를 재현할 수 있는가?
• RQ2 자기회귀형 트랜스포머(GPT-2 계열)가 역전 효과를 모델링하는 반면, 다른 구조는 감소 또는 효과가 없을 수 있는가?
• RQ3 순수한 어휘 벡터 코사인 거리가 여러 네덜란드어 벡터 세트에서 어휘 기초 priming 구성 요소를 포착할 수 있는가?
• RQ4 전체 이야기 맥락과 중요한 문장 맥락에서 효과가 견고한가, 그리고 다른 언어(네덜란드어 자극)에서도 같은가?

주요 결과

• 여섯 모델 모두 유의미한 감소 효과를 보이며: 정합적 단어가 비정합적 단어에 비해 중요한 문장에서 surprisal이 더 낮지만, 여러 모델에서 전체 이야깃맥락에서 이 효과가 역전됩니다.
• 네덜란드어 GPT-2 Medium 및 GPT-2 Large만이 전체 길이 자극에서 정합적 단어가 비정합적 아이템보다 surprisal이 더 높은 역전 효과를 보입니다.
• GPT-Neo, BERTje, RobBERT는 감소 효과를 보이지만 전체 길이 자극에서 일관되게 역전 효과를 보이지는 않습니다.
• 세 벡터 세트 모두에서 cosine 거리에서 감소 효과가 나타나며, 두 세트(Combined 및 COW)는 여러 조건에서 역전 효과를 보입니다.
• 결과는 분포 정보가 상황 모델 기반 처리 없이 N400 맥락 패턴을 질적으로 설명할 수 있음을 시사합니다.