[논문 리뷰] Probing Neural Language Models for Human Tacit Assumptions

Nathaniel Weir, Adam Poliak외 1명|arXiv (Cornell University)|2020. 04. 10.

Topic Modeling참고 문헌 23인용 수 19

한 줄 요약

이 논문은 BERT와 RoBERTa와 같은 컨텍스트 기반 신경 언어 모델이 인간의 스테레오타입적 암묵적 가정(STA)—개념에 대한 묵시적이고 일반적인 상식적 믿음—을 인간이 유도한 개념적 성질 기반의 빈칸 메우기 진단 프롬프트를 사용하여 얼마나 잘 포착하는지 조사한다. 모델들은 관련 성질에서 정확한 개념을 추론하는 데 뛰어난 성능을 보이며, 과제에 특화된 미세조정 없이도 대규모 텍스트 데이터 노출을 통해 STA가 유도된다는 것을 보여준다.

ABSTRACT

Humans carry stereotypic tacit assumptions (STAs) (Prince, 1978), or propositional beliefs about generic concepts. Such associations are crucial for understanding natural language. We construct a diagnostic set of word prediction prompts to evaluate whether recent neural contextualized language models trained on large text corpora capture STAs. Our prompts are based on human responses in a psychological study of conceptual associations. We find models to be profoundly effective at retrieving concepts given associated properties. Our results demonstrate empirical evidence that stereotypic conceptual representations are captured in neural models derived from semi-supervised linguistic exposure.

연구 동기 및 목표

• 대규모 텍스트 코퍼스에서 신경 언어 모델이 스테레오타입적 암묵적 가정(STA), 즉 개념에 대한 일반적인 상식적 믿음(예: '곰은 털이 있고 발톱이 있으며 포식자다')을 학습하는지 조사하는 것.
• 심리학적 정규화된 성질에서 유도된 단어 예측 프롬프트를 통해 STA—예를 들어 '곰은 털이 있고 발톱이 있으며 포식자다'—가 인간의 심리학적 정규화 기준에 기반한 프롬프트를 통해 추론 가능한지 평가하는 것.
• 시각적 성질 대비 비시각적 성질에 대한 성능 차이를 고려하여 BERT와 RoBERTa가 STA를 얼마나 잘 포착하는지 비교하는 것.
• 모델의 예측이 심리학 연구에서 인간의 반응과 얼마나 일치하는지 평가하고, 체계적인 차이점을 식별하는 것.

제안 방법

• 심리학적 연구에서 유도된 인간의 성질 기반으로 진단용 빈칸 메우기 프롬프트를 구성한다.
• 사전 훈련된 컨텍스트 기반 언어 모델(BERT와 RoBERTa)을 사용하여 이러한 프롬프트의 마스킹 토큰에 대한 예측을 생성한다.
• 다양한 관계(예: '가지고 있다', '는', '가지고 있다')에 대해 평균 평균 정밀도(mAP)를 사용하여 모델 성능을 평가하고, 개념 기억 및 성질 연관성에 대한 지표를 활용한다.
• 프롬프트 구성에서 '모든 사람이 안다'라는 표현을 제거하여 그 영향을 평가함으로써 모델의 안정성과 성능에 미치는 영향을 분석한다.
• 모델 출력을 인간의 반응과 정성적으로 비교하여 추론의 겹침과 고유한 특성(특이성)을 식별한다.
• RoBERTa-L을 주요 모델로 사용하는 이유는 성능이 뛰어나기 때문이며, 이 모델의 예측을 프린스가 자체적으로 제시한 STA 예시들에 대해 분석한다.

실험 결과

연구 질문

• RQ1 컨텍스트 기반 언어 모델인 BERT와 RoBERTa가 인간 심리학 연구에서처럼 관련 성질들로부터 정확한 개념을 추론할 수 있는가?
• RQ2 BERT와 RoBERTa가 시각적 성질 대비 비시각적 성질에 대해 STA를 얼마나 잘 포착하는가?
• RQ3 모델의 예측이 인간이 유도한 개념 연관성 기준과 얼마나 일치하는가? 체계적인 차이점은 무엇인가?
• RQ4 프롬프트의 어휘적 프레임이 모델 성능에 상당한 영향을 미치는가? 다양한 프롬프트 구조에서 예측의 안정성은 어떠한가?
• RQ5 모델은 훈련 데이터에 명시적으로 포함되지 않은 STA—예를 들어 인간의 반응에 나와 있지 않은 감각 성질—을 포착할 수 있는가?

주요 결과

• RoBERTa가 BERT보다 관련 성질들로부터 개념을 추론하는 데 일관되게 뛰어난 성능을 보이며, '가지고 있다' 관계에서 최대 0.3 mAP의 성능 격차를 보였다.
• 모델은 시각적 성질(예: 시각적, 촉각적)보다는 비시각적 성질(예: 기능적, 백과사전적)에서 훨씬 뛰어난 성능을 보이며, 감각 기반 연관성 포착에 한계가 있음을 시사한다.
• 미세조정 없이도 모델은 개념적으로 타당하고 문법적으로 올바른 완성문을 생성하며, 많은 예측이 인간에 의해 검증 가능하다.
• 모델은 '다리가 있다' 또는 '위험하다'는 예측을 맥락과 관계없이 빈번히 하며, 이는 일반화 과도의 결과로 보인다.
• 모델과 인간의 반응 사이에 상당한 겹침이 있으며, 양방향으로 관찰된다: 모델은 프롬프트에 명시되지 않은 성질까지도 정확히 예측할 수 있다.
• 모델 RoBERTa-L은 프린스가 자체적으로 제시한 '사람'과 '나라'에 대한 STA를 높은 신뢰도로 포착하였으며, 그 핵심 가정과 일치하는 예측을 하였다.