[논문 리뷰] On the Existence of Tacit Assumptions in Contextualized Language Models

Nathaniel Weir, Adam Poliak외 1명|arXiv (Cornell University)|2020. 04. 10.

Topic Modeling참고 문헌 10인용 수 6

한 줄 요약

이 논문은 심리학적 연구에서 유래한 개념 연관성 기반으로 단어 예측 능력을 테스트하여, 문맥화된 언어 모델이 스테레오타입 암묵적 가정(STA) — 개념에 대한 암묵적이고 일반적인 믿음 — 을 얼마나 잘 포착하는지 조사한다. 결과적으로 모델들이 관련 개념을 효과적으로 회상함으로써, STAs가 대규모 텍스트 코퍼스에 대한 준지도 학습적 노출을 통해 인코딩됨을 실증적 증거로 제시한다.

ABSTRACT

Humans carry stereotypic tacit assumptions (STAs) (Prince, 1978), or propositional beliefs about generic concepts. Such associations are crucial for understanding natural language. We construct a diagnostic set of word prediction prompts to evaluate whether recent neural contextualized language models trained on large text corpora capture STAs. Our prompts are based on human responses in a psychological study of conceptual associations. We find models to be profoundly effective at retrieving concepts given associated properties. Our results demonstrate empirical evidence that stereotypic conceptual representations are captured in neural models derived from semi-supervised linguistic exposure.

연구 동기 및 목표

• 대규모 텍스트 코퍼스로부터 신경 언어 모델이 암묵적으로 스테레오타입 암묵적 가정(STA)을 학습하는지 조사하기 위해.
• STAs — 개념에 대한 무의식적이고 일반적인 믿음 — 이 문맥화된 언어 모델에 인코딩되어 있는지 평가하기 위해.
• 인간이 제공한 개념 연관성을 활용해 모델 표현을 탐사하는 진단 프레임워크를 개발하기 위해.
• 준지도 학습적 언어 노출이 신경 모델에서 스테레오타입 개념 지식을 습득하게 하는지 실증적 증거를 제공하기 위해.

제안 방법

• 심리학적 연구에서 수집한 인간 응답 기반으로 개념 연관성을 유도하는 단어 예측 프롬프트의 진단 세트를 설계하기 위해.
• 이 프롬프트를 사용해 언어 모델이 의미적으로 관련된 개념을 예측하는지 테스트하기 위해.
• 진단 프롬프트를 기반으로 문맥화된 언어 모델을 훈련하고 평가하여 개념적으로 관련된 단어를 회수할 능력을 평가하기 위해.
• 모델 예측 결과를 인간이 제공한 연관성과 비교해 스테레오타입 개념 표현과의 일치도를 측정하기 위해.
• 다양한 모델 아키텍처 간의 STA 포착 정도를 정량화하기 위해 표준화된 평가 프rotocol를 사용하기 위해.

실험 결과

연구 질문

• RQ1 문맥화된 언어 모델은 인간의 개념 연관성에서 유래한 스테레오타입 암묵적 가정(STA)을 포착하는가?
• RQ2 모델은 단어 예측 작업에서 인간과 유사한 개념 연관성을 어느 정도 재현하는가?
• RQ3 모델에서 STA의 습득은 대규모 텍스트 코퍼스에 대한 준지도 학습적 노출 덕분인가?
• RQ4 모델은 다양한 개념 영역에 걸쳐 STA를 얼마나 잘 일반화하는가?

주요 결과

• 모델들은 진단 프롬프트에서 개념적으로 관련된 단어를 효과적으로 회수함으로써 인간이 제공한 연관성과 강한 일치를 보임을 나타냄.
• 결과적으로 스테레오타입 개념 표현이 대규모 텍스트 코퍼스에 대한 노출을 통해 신경 모델에 포착됨을 실증적 증거로 제시함.
• 모델의 성능은 STA가 단순한 통계적 공존성 이상의 깊이 있는 개념 인코딩을 반영함을 시사함.
• 진단 프레임워크는 언어 모델 내부의 STA 존재를 성공적으로 식별하고 측정함으로써 신뢰할 수 있는 평가 방법을 제공함.