[논문 리뷰] Machine Reading, Fast and Slow: When Do Models "Understand" Language?

Sagnik Ray Choudhury, Anna Rogers외 1명|arXiv (Cornell University)|2022. 09. 15.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 핵심 참조 해결과 비교 작업에 대해 예상되는 추론 단계를 정의한 후, BERT 계열 모델을 시각화 기반 설명 및 반사적 설명을 통해 평가함으로써 독해 모델이 언어를 '이해'하는지 평가하는 프레임워크를 제안한다. 결과적으로 더 큰 모델일수록 비교 작업에서 정확한 정보에 더 의존하는 경향을 보이나, 여전히 일반화 가능한 추론이 아니라 어휘 패턴에 의존하며 분포 외 예측에서는 실패함을 확인함.

ABSTRACT

Two of the most fundamental challenges in Natural Language Understanding (NLU) at present are: (a) how to establish whether deep learning-based models score highly on NLU benchmarks for the 'right' reasons; and (b) to understand what those reasons would even be. We investigate the behavior of reading comprehension models with respect to two linguistic 'skills': coreference resolution and comparison. We propose a definition for the reasoning steps expected from a system that would be 'reading slowly', and compare that with the behavior of five models of the BERT family of various sizes, observed through saliency scores and counterfactual explanations. We find that for comparison (but not coreference) the systems based on larger encoders are more likely to rely on the 'right' information, but even they struggle with generalization, suggesting that they still learn specific lexical patterns rather than the general principles of comparison.

연구 동기 및 목표

• NLU 벤치마크에서 높은 성능을 내는 것이 '옳은 이유'로 이루어지는지 여부를 판단하는 데 도전하는 것.
• 독해 과제에서 핵심 참조 해결 및 비교와 같은 언어 기술에 대해 유효한 추론 단계의 기준을 정의하는 것.
• 해석 가능성 기법을 사용하여 BERT 기반 모델이 올바른 정보에 의존하는지 평가하는 것.
• 모델 성능이 훈련 데이터를 초월해 일반화되는지, 특히 반사적 변형에 대해 어떻게 반응하는지 조사하는 것.
• 다양한 모델과 데이터셋에 적용 가능한 모델 '이해' 평가를 위한 방법론적 프레임워크를 개발하는 것.

제안 방법

• 핵심 참조 해결과 비교와 같은 두 가지 언어 기술에 대해 구조적이고 단계적인 프레임워크를 사용해 예상되는 추론 단계를 정의한다.
• 시각화 기반 설명을 사용하여 질문에 답할 때 모델이 입력 토큰 중 어떤 것에 주목하는지 식별한다.
• 인간이 이해할 수 있는 반사적 변형을 생성하여 모델 예측이 의미적 변화에 얼마나 민감한지 테스트함으로써 탄력성을 평가한다.
• 시각화 지도와 반사적 설명을 비교하여 모델이 올바른 언어적 신호에 의존하고 있는지 검증한다.
• SQuAD 데이터셋에서 크기가 다른 다섯 가지 BERT 계열 모델의 성능과 추론 정밀도를 평가한다.
• 정의 1에 기반한 행동 테스트를 적용하여 예상되는 행동과 실제 모델 행동 간의 일치도를 측정함으로써 모델이 '옳은 이유로 옳은'지 여부를 판단한다.

실험 결과

연구 질문

• RQ1 독해 과제에서 핵심 참조 해결과 비교 작업에 대해 유효한 추론은 무엇인가?
• RQ2 BERT 기반 모델은 핵심 참조나 비교를 포함한 질문에 답할 때 올바른 정보에 의존하는가?
• RQ3 모델 크기가 올바른 추론 단계에 의존할 가능성을 어떻게 영향을 미치는가?
• RQ4 모델은 분포 외 반사적 예제로 일반화되는 정도는 어느 정도인가?
• RQ5 시각화 지도와 반사적 설명은 모델의 추론 경로를 식별하는 데 얼마나 잘 일치하는가?

주요 결과

• 비교 작업에서는 더 큰 BERT 기반 모델일수록 정확한 정보에 더 의존할 가능성이 높아지며, 이는 스케일 증가에 따라 추론 정밀도가 향상됨을 시사한다.
• 심지어 가장 큰 모델조차도 분포 외 반사적 변형에 대해 일반화하지 못하며, 이는 일반 원칙이 아니라 특정 어휘 패턴에 의존하고 있음을 시사한다.
• 핵심 참조 해결 작업에서는 어떤 모델도 일관되게 올바른 정보에 의존하지 않아, 언어 현상의 본질을 배우지 못하고 있음을 시사한다.
• 시각화 지도와 반사적 설명은 부분적으로 상관관계를 보이나, 둘 다 독립적으로는 추론 행동을 완전히 검증하는 데에는 충분하지 않다.
• 작은 모델은 히وري스틱이나 해석이 어려운 전략을 사용할 수 있으며, 설명이 제공되더라도 인간의 추론과 일치하지 않기 때문이다.
• 결과적으로 현재의 모델들은 일반적인 추론 능력을 배우지 못하고 표면적인 패턴을 암기함으로써 신뢰성과 탄력성이 제한됨을 시사한다.