[논문 리뷰] Context Limitations Make Neural Language Models More Human-Like

Tatsuki Kuribayashi, Yohei Oseki외 2명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 현대 신경 언어 모델(LM)의 맥락 길이를 제한함으로써 인간 독서 행동을 시뮬레이션하는 데 있어 심리측도적 예측력(PPP) 측면에서 뚜렷한 향상을 이룬다는 것을 보여준다. 트랜스포머 기반 언어 모델에 n-그램 방식의 맥락 잘라내기 기법을 적용함으로써, 인간의 작업 기억 한계를 반영하는 짧은 맥락 접근이 문법적으로 복잡한 구성에서 특히 인간 독서 시간과의 일치도를 높임을 입증한다.

ABSTRACT

Language models (LMs) have been used in cognitive modeling as well as engineering studies -- they compute information-theoretic complexity metrics that simulate humans' cognitive load during reading. This study highlights a limitation of modern neural LMs as the model of choice for this purpose: there is a discrepancy between their context access capacities and that of humans. Our results showed that constraining the LMs' context access improved their simulation of human reading behavior. We also showed that LM-human gaps in context access were associated with specific syntactic constructions; incorporating syntactic biases into LMs' context access might enhance their cognitive plausibility.

연구 동기 및 목표

• 현대 신경 언어 모델에서 맥락 접근을 제한함으로써 독서 중 인간의 인지 부하를 더 잘 시뮬레이션할 수 있는지 조사하는 것.
• 현대 언어 모델의 광범위한 맥락 접근과 인간의 제한적이고 선택적인 맥락 접근 간의 괴리 문제를 해결하는 것.
• 문법적 구조가 맥락 제한이 인지적 타당성 향상에 얼마나 효과적인지 탐색하는 것.
• 더 높은 다음 단어 예측 정확도(낮은 퍼플렉서티)가 항상 더 나은 인지 모델링 성능을 이끌어내는 것이라는 가정을 도전하는 것.
• 맥락 접근 메커니즘에 문법적 편향을 통합하면 신경 언어 모델의 인지적 타당성이 향상될 수 있음을 제안하는 것.

제안 방법

• 사전 학습된 트랜스포머 기반 언어 모델의 맥락 길이를 잘라내는 n-그램화 기법을 적용하여 제한된 작업 기억을 시뮬레이션한다.
• 최근 n개 토큰(예: n=2, 4, 8, 16)만을 사용하여 놀라움 점수(surprisal scores)를 계산함으로써 맥락 제약 조건 하에서의 점진적 처리를 시뮬레이션한다.
• 280개의 실험 설정에서 인간 눈동자 데이터와의 독서 시간 예측을 비교하여 심리측도적 예측력(PPP)을 사용해 모델 성능을 평가한다.
• 특정 문법적 구성에 대한 탐색적 분석을 수행하여 짧거나 긴 맥락 접근이 어느 정도의 문법적 구성에서 가장 유익한지 파악한다.
• PPP와 퍼플렉서티(PPL) 간의 상관관계를 분석하여, 향상된 다음 단어 예측 정확도가 더 나은 인지 모델링 성능을 의미하는지 평가한다.
• 형태학적으로 상이한 언어인 영어와 일본어를 포함한 多국어 데이터를 사용하여 일반화 가능성 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 신경 언어 모델에서 맥락 접근을 제한함으로써 인간 독서 행동을 예측하는 데 있어 성능 향상이 이루어지는가?
• RQ2 다양한 맥락 길이(예: n=2, 4, 8, 16)가 언어 모델의 심리측도적 예측력(PPP)에 어떤 영향을 미치는가?
• RQ3 특정 문법적 구성에서는 짧은 맥락 접근 또는 긴 맥락 접근이 PPP 향상에 더 효과적인가?
• RQ4 언어 모델에서 다음 단어 예측 정확도(퍼플렉서티)와 인지적 타당성(PPP) 사이에 트레이드오프가 존재하는가?
• RQ5 맥락 접근 메커니즘에 문법적 편향을 통합하면 신경 언어 모델의 인지적 타당성이 추가로 향상될 수 있는가?

주요 결과

• 짧은 맥락 접근(예: n=2–4)을 갖는 언어 모델이 전체 맥락을 사용하는 경우보다 인간 독서 시간을 더 잘 예측하며, 이는 더 높은 심리측도적 예측력(PPP)으로 나타난다.
• 제한된 맥락 접근이 가져오는 PPP 향상 효과는 영어와 일본어를 포함한 다양한 언어 모델과 문법적으로 상이한 언어에서 뚜렷하게 유지된다.
• 퍼플렉서티(PPL)와 PPP 사이에 강한 부정적 상관관계가 없었으며, 오히려 피어슨 상관계수는 약간의 양의 상관관계(r=0.15)를 보였는데, 이는 더 나은 다음 단어 예측이 반드시 더 나은 인지 모델링 성능을 의미하지는 않음을 시사한다.
• 특정 문법적 구성—특히 장거리 의존성 구조를 포함한 것들—은 맥락 길이에 더 민감하게 반응하여, 맥락 제한이 항상 유리한 것은 아님을 시사한다.
• 연구 결과, 맥락 제한 효과가 문법적 구조 전반에 걸쳐 체계적으로 분포되어 있음을 확인하였으며, 이는 향후 모델에서 맥락 접근을 정교화하기 위해 문법적 편향을 활용할 수 있음을 시사한다.
• 결과는 인간 문장 처리의 기억 기반 해석을 지지하며, 제한된 작업 기억이 처리를 제약한다는 바탕을 강화하고, 전체 맥락 놀라움보다 손실 있는 맥락 놀라움이 더 인지적으로 타당한 지표임을 시사한다.