[논문 리뷰] Emergence of Separable Manifolds in Deep Language Representations

Jonathan Mamou, Hang Le외 5명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

이 논문은 평균장 이론적 다양체 분석을 적용하여 딥 랭귀지 모델 내 언어 표현의 기하학적 진화를 분석하며, 품사 및 기타 언어 다양체가 계층을 거치면서 점점 더 선형적으로 분리됨을 드러낸다—특히 마스크된, 맥락적으로 예측 가능한 환경에서 그렇다. 이러한 다양체의 등장은 다양체의 반지름, 차원 수, 상호 다양체 상관관계 감소로 인해 발생하며, 맥락화가 모호한 언어 카테고리의 분리해제를 가능하게 한다는 것을 입증한다.

ABSTRACT

Deep neural networks (DNNs) have shown much empirical success in solving perceptual tasks across various cognitive modalities. While they are only loosely inspired by the biological brain, recent studies report considerable similarities between representations extracted from task-optimized DNNs and neural populations in the brain. DNNs have subsequently become a popular model class to infer computational principles underlying complex cognitive functions, and in turn, they have also emerged as a natural testbed for applying methods originally developed to probe information in neural populations. In this work, we utilize mean-field theoretic manifold analysis, a recent technique from computational neuroscience that connects geometry of feature representations with linear separability of classes, to analyze language representations from large-scale contextual embedding models. We explore representations from different model families (BERT, RoBERTa, GPT, etc.) and find evidence for emergence of linguistic manifolds across layer depth (e.g., manifolds for part-of-speech tags), especially in ambiguous data (i.e, words with multiple part-of-speech tags, or part-of-speech classes including many words). In addition, we find that the emergence of linear separability in these manifolds is driven by a combined reduction of manifolds' radius, dimensionality and inter-manifold correlations.

연구 동기 및 목표

• 딥 컨텍스트룰 랭귀지 표현에서 품사, 명명된 실체, 어휘의 의미 등 언어 다양체가 어떻게 등장하는지 탐구하는 것.
• BERT, RoBERTa, GPT와 같은 트랜스포머 기반 모델에서 이러한 다양체의 기하학적 진화를 분석하는 것.
• 맥락화(마스크된 vs. 마스크되지 않은 토큰)가 언어 다양체의 선형 분리 가능성에 미치는 역할을 규명하는 것.
• 파인튜닝 및 태스크 전이 과정에서 다양체 용량(선형 분리 가능성의 척도)이 어떻게 변화하는지 정량화하는 것.
• 컴putational neuroscience 기법을 활용하여 NLP 모델의 표현 구조와 정보 내용 사이의 기하학적 연결 고리를 설정하는 것.

제안 방법

• 연구는 계산 신경과학에서 유래한 평균장 이론적 다양체 분석(MFTMA)을 활용하며, 이는 다양체의 '산산이 부서지는 능력'(shattering capacity)을 통해 클래스 다양체의 선형 분리 가능성 수치를 측정한다.
• 다양체 용량은 모델 계층 전반에서 임bedded된 언어 카테고리(예: 품사 태그)의 반지름, 차원 수, 상호 다양체 상관관계의 함수로 계산된다.
• 분석은 마스크된 및 마스크되지 않은 토큰에 대해 사전 학습된 및 파인튜닝된 BERT, RoBERTa, GPT 모델의 표현에 적용된다.
• 이 방법을 통해 예측적(마스크된) 및 맥락화된(마스크되지 않은) 환경에서 다양체 기하학을 비교할 수 있으며, 이는 서로 다른 분리 동역학을 드러낸다.
• 파인튜닝 동역학은 품사 태깅 작업에서의 학습 동안 다양체 용량의 진화를 측정함으로써 추적되며, 다른 언어 태스크로의 전이를 평가한다.
• 이 접근법을 통해 태스크 특화 학습이 단순한 프로브 정확도를 넘어서 표현의 기하학적 구조에 어떻게 영향을 미치는지 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 품사와 같은 언어 카테고리의 분리 가능한 다양체가 딥 랭귀지 표현에 등장하는가? 만약 그렇다면 네트워크 계층 구조의 어디서 등장하는가?
• RQ2 예측적(마스크된) 표현과 맥락화된(마스크되지 않은) 표현 간에 언어 다양체의 선형 분리 가능성은 어떻게 다를까?
• RQ3 반지름, 차원 수, 또는 상호 다양체 상관관계 중 어떤 기하학적 요인이 맥락화된 랭귀지 모델에서 분리 가능한 다양체의 등장을 이끄는가?
• RQ4 품사 태깅과 같은 언어 태스크에서의 파인튜닝이 다양한 언어 카테고리의 언어 다양체 기하학에 어떻게 영향을 미치는가?
• RQ5 언어 카테고리의 다양체 용량이 후행 태스크 성능과 어느 정도 상관관계가 있는가?

주요 결과

• 마스크된 예측적 환경에서 다양체 용량이 계층을 거치며 증가하며, 이는 언어 다양체의 점진적인 선형 분리 가능성 증가를 시사한다. 특히 다중 품사 태그를 가진 모호한 단어에서 두드러진다.
• 마스크되지 않은 맥락화된 표현에서는 단어 다양체의 분리 가능성은 감소하지만(다양체 용량 감소), 품사와 같은 언어 다양체는 맥락화 덕분에 효과적인 분리가 향상된다.
• 분리 가능한 품사 다양체의 등장은 단어가 모호할 때 가장 두드러지며, 이는 맥락화가 기하학적 분리해제를 통해 다의어 문제를 해결함을 시사한다.
• 다양체 용량 증가는 기능 분산 증가가 아니라 다양체 반지름 감소, 차원 수 감소, 상호 다양체 상관관계 감소로 인한 것이다.
• 품사 태깅에서의 파인튜닝은 마스크되지 않은 표현에서 품사 및 기타 언어 태그(예: NER, 의미 태그)의 다양체 용량을 증가시키며, 이는 태스크 유도 기하학적 정교화를 나타낸다.
• 품사 태깅 파인튜닝 후 마스크된 표현은 거의 변화하지 않으며, 이는 예측 헤드가 태스크 특화 적응에 의해 크게 영향을 받지 않는다는 것을 시사한다.