[논문 리뷰] Blackbox meets blackbox: Representational Similarity and Stability Analysis of Neural Language Models and Brains

Samira Abnar, Lisa Beinborn외 2명|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 34인용 수 14

한 줄 요약

이 논문은 표현 안정성 분석(ReStA)을 도입하여 표현 유사도 분석(RSA)을 확장하여 신경어휘모델의 표현이 다양한 문맥 길이에서 어떻게 변화하는지 평가한다. 분석 결과, LSTM 기반 모델들(예: GoogleLM, ELMO)이 Transformer 기반 모델보다 더 높은 표현 안정성과 인간 뇌 fMRI 데이터와의 강한 일치도를 보이며, 이는 내부 역학이 뇌에서 관찰되는 깊은 언어 처리를 더 잘 반영한다는 것을 시사한다.

ABSTRACT

In this paper, we define and apply representational stability analysis (ReStA), an intuitive way of analyzing neural language models. ReStA is a variant of the popular representational similarity analysis (RSA) in cognitive neuroscience. While RSA can be used to compare representations in models, model components, and human brains, ReStA compares instances of the same model, while systematically varying single model parameter. Using ReStA, we study four recent and successful neural language models, and evaluate how sensitive their internal representations are to the amount of prior context. Using RSA, we perform a systematic study of how similar the representational spaces in the first and second (or higher) layers of these models are to each other and to patterns of activation in the human brain. Our results reveal surprisingly strong differences between language models, and give insights into where the deep linguistic processing, that integrates information over multiple sentences, is happening in these models. The combination of ReStA and RSA on models and brains allows us to start addressing the important question of what kind of linguistic processes we can hope to observe in fMRI brain imaging data. In particular, our results suggest that the data on story reading from Wehbe et al. (2014) contains a signal of shallow linguistic processing, but show no evidence on the more interesting deep linguistic processing.

연구 동기 및 목표

• 신경어휘모델의 내부 표현이 다양한 문맥 길이에 따라 어떻게 변화하는지 조사하기 위해.
• 다양한 언어 모델 간의 표현 유사도와 인간 뇌 활성 패턴과의 일치도를 비교하기 위해.
• 스토리 읽기 작업 동안의 fMRI 데이터가 깊은 언어 처리 신호를 담고 있는지, 아니면 얕은 처리만을 반영하는지 평가하기 위해.
• 모델 아키텍처와 학습 목표가 표현 안정성과 뇌 유사성 일치도에 얼마나 영향을 미치는지 평가하기 위해.

제안 방법

• 시스템적으로 변화된 문맥 길이에서 동일한 모델의 표현을 비교하는 RSA의 변종인 ReStA를 제안한다.
• 모델 활성화와 뇌 fMRI 데이터 양측에서 자극 쌍 간의 유사도 행렬을 계산하기 위해 RSA를 사용한다.
• GoogleLM, ELMO, BERT, Universal Sentence Encoder의 네 가지 최첨단 언어 모델에 ReStA를 적용한다.
• 유사도 행렬의 피어슨 상관계수를 통해 모델 레이어와 뇌 영역 간의 표현 유사도를 측정한다.
• 인간 피실험자가 스토리를 읽는 동안의 fMRI 데이터(Wehbe et al., 2014)를 뇌 표현의 대체 척도로 사용한다.
• 다양한 레이어와 문맥 조건에서의 모델 성능 및 표현 안정성 분석을 수행한다.

실험 결과

연구 질문

• RQ1 내부 표현이 사전 문맥의 양이 변화할 때 신경어휘모델의 표현은 어떻게 변화하는가?
• RQ2 어떤 언어 모델 아키텍처와 레이어가 문맥 변화에 대해 가장 높은 표현 안정성을 보이는가?
• RQ3 다른 언어 모델 간의 표현 공간은 상호 간에, 그리고 스토리 처리 중 인간 뇌 활성 패턴과 얼마나 유사한가?
• RQ4 스토리 읽기에서의 fMRI 데이터가 얕은 처리에 비해 깊은 언어 처리를 얼마나 잘 반영하는가?

주요 결과

• LSTM 기반 모델들(GoogleLM, ELMO)이 Transformer 기반 모델(BERT, Universal Sentence Encoder)보다 문맥 변화에 대해 유의미하게 더 높은 표현 안정성을 보였다.
• LSTM 모델의 첫 번째 레이어(L0)는 문맥 길이 변화에 대해 최소한의 민감성을 보였고, 두 번째 레이어(L1)는 강한 문맥 의존적 표현 변화를 보이며 시간에 걸쳐 정보를 통합함을 시사했다.
• LSTM 기반 모델들은 단어 수준의 모델(GloVe 등)이나 Transformer 기반 모델보다 인간 뇌 fMRI 데이터와 더 높은 표현 유사도를 달성했다.
• 문맥 길이에 따라 모델 표현과 성능에 상당한 변화가 있었음에도 불구하고, 이 변화는 뇌 표현과의 일치도에 반영되지 않았다. 이는 표현 전이가 제한적임을 시사한다.
• Wehbe et al. (2014)의 뇌 데이터는 얕은 언어 처리 신호를 보였지만, 문장 간의 깊은 통합 처리 신호는 감지되지 않았다.
• 왼쪽 전측 시간엽은 모든 모델에서 일관되게 가장 높은 표현 유사도를 보였으며, 이는 의미 통합의 잠재적 신경 기초를 시사한다.