[논문 리뷰] Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses

Richard Antonello, Javier S. Turek외 2명|arXiv (Cornell University)|2021. 06. 09.

Topic Modeling참고 문헌 34인용 수 24

한 줄 요약

이 논문은 100개의 NLP 작업에서 어휘 표현 공간의 저차원 구조를 맵핑하기 위해 전이 학습 기반 방법을 제안하며, 어휘 임베딩, 문법, 의미 및 향후 어휘 예측을 연결하는 연속적인 계층을 드러낸다. 이 표현 임베딩은 뇌의 고해상도 뇌파(예: fMRI) 반응을 높은 정확도로 예측하며, 인간 뇌의 자연어 처리 계층을 반영한다.

ABSTRACT

How related are the representations learned by neural language models, translation models, and language tagging tasks? We answer this question by adapting an encoder-decoder transfer learning method from computer vision to investigate the structure among 100 different feature spaces extracted from hidden representations of various networks trained on language tasks. This method reveals a low-dimensional structure where language models and translation models smoothly interpolate between word embeddings, syntactic and semantic tasks, and future word embeddings. We call this low-dimensional structure a language representation embedding because it encodes the relationships between representations needed to process language for a variety of NLP tasks. We find that this representation embedding can predict how well each individual feature space maps to human brain responses to natural language stimuli recorded using fMRI. Additionally, we find that the principal dimension of this structure can be used to create a metric which highlights the brain's natural language processing hierarchy. This suggests that the embedding captures some part of the brain's natural language representation structure.

연구 동기 및 목표

• NLP에서 사용되는 다양한 언어 표현(예: 어휘 임베딩, 문법, 의미, 모델 전용 히든 상태 등) 간의 내재된 관계를 맵핑하기 위해.
• 언어 표현 공간이 '문법적' 또는 '의미적'과 같은 정성적 묘사에 의해 제안된 바와 같이 근본적으로 저차원적임을 확인하기 위해.
• 인공 표현에서의 저차원적 구조가 인간 뇌의 자연어 자극에 대한 반응 조직 방식을 어떻게 반영하는지 확인하기 위해.
• 사전 정의된 레이블에 의존하지 않고 언어 표현 간의 功能적 관계를 정량적으로 캡처하는 표현 임베딩을 개발하기 위해.
• 일방향 및 이방향 언어 모델이 표현의 계층적 진행 방식에서 어떻게 다름을 탐구하기 위해.

제안 방법

• 컴퓨터 비전에서 유래한 인코더-디코더 전이 학습 프레임워크를 변형하여 다양한 NLP 작업에서 유래한 100개의 언어 표현 간의 관계를 분석한다.
• 유사도의 대체 지표로 표현 간 전이 가능성(transferability)을 사용하며, 한 표현을 다른 표현으로 예측하기 위해 선형 인코더-디코더 네트워크를 훈련시킨다.
• 다양한 표현 유형 간 일관된 비교를 보장하기 위해 분석적 계층 프로세스(AHP) 정규화를 적용한다.
• 전이 가능성 행렬을 압축하여 낮은 차원의 표현 임베딩 공간으로 축소시켜 저차원 표현 임베딩을 구성한다.
• 이 임베딩의 주된 차원을 사용하여 인코딩 모델을 통해 fMRI 뇌 반응을 예측한다.
• 예측된 뇌 반응 맵을 실제 fMRI 데이터와 비교하여 상관관계 및 일치 정확도 지표를 사용해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 NLP 작업 전반에서 다양한 언어 표현을 조직하는 저차원적이고 연속적인 구조가 존재하는가?
• RQ2 일방향 모델과 이방향 모델의 표현들이 이 구조 내에서 어떻게 상호 관련되어 있는가?
• RQ3 저차원 표현 임베딩이 인간 뇌의 자연어 자극에 대한 반응을 어느 정도 정확하게 예측하는가?
• RQ4 표현 임베딩의 주요 차원이 뇌 내에서 알려진 언어 처리 계층(예: 복측 및 덮측 경로)을 회복할 수 있는가?
• RQ5 표현 임베딩이 특정 표현이 어느 뇌 영역에 대응하는지 얼마나 잘 예측할 수 있는가?

주요 결과

• 이 방법은 어휘 임베딩, 문법, 의미, 향후 어휘 표현 사이를 연결하는 연속적이고 매끄러운 보간을 보여주는 저차원적 구조를 성공적으로 드러냈다.
• 모든 표현에서 fMRI 뇌 반응 예측 정확도가 90% 이상이며, 대부분의 표현에서 100% 정확도를 기록했다.
• 표현 임베딩의 주요 차원은 인간 뇌의 알려진 언어 처리 계층(예: 복측 및 덮측 경로)과 광범위하게 일치한다.
• 인공 언어 표현과 인간 신경 반응 간의 공통된 구조적 조직을 임베딩이 캡처하며, 공통된 인지적 아키텍처가 존재할 가능성을 시사한다.
• 전이 가능성은 사전 레이블이나 가정 없이도 표현 간의 기능적 관계를 유추하는 데 사용될 수 있음을 입증했다.
• 결과는 인간 뇌의 언어 처리 계층이 인공 언어 표현의 내재된 기하학적 구조에 반영되어 있을 수 있음을 시사한다.