[논문 리뷰] Pretraining on Non-linguistic Structure as a Tool for Analyzing Learning Bias in Language Models

Isabel Papadimitriou, Dan Jurafsky|arXiv (Cornell University)|2020. 04. 30.

Natural Language Processing Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 음악과 자바 코드와 같은 비언어적 구조 데이터로 사전 훈련한 후 전이 학습을 통해 신경망 언어 모델이 문법적 구조를 어떻게 인코딩하는지 연구하는 방법을 제안한다. 비록 훈련 데이터에서 구조적 유도가 최소한이어도 인간 언어로의 제로샷 전이 성능이 크게 향상되며, 언어 간 문법적 유사성이 전이 성능을 강력하게 예측함을 발견하였다. 이는 내부 표현이 유형론적으로 일관된 방식으로 형성됨을 시사한다.

ABSTRACT

We propose a novel methodology for analyzing the encoding of grammatical structure in neural language models through transfer learning. We test how a language model can leverage its internal representations to transfer knowledge across languages and symbol systems. We train LSTMs on non-linguistic, structured data and test their performance on human language to assess which kinds of data induce generalizable encodings that LSTMs can use for natural language. We find that models trained on structured data such as music and Java code have internal representations that help in modelling human language, and that, surprisingly, adding minimal amounts of structure to the training data makes a large difference in transfer to natural language. Further experiments on transfer between human languages show that zero-shot performance on a test language is highly correlated with syntactic similarity to the training language, even after removing any vocabulary overlap. This suggests that the internal representations induced from natural languages are typologically coherent: they encode the features and differences outlined in typological studies. Our results provide insights into how neural networks represent linguistic structure, and also about the kinds of structural biases that give learners the ability to model language.

연구 동기 및 목표

• 신경망 언어 모델이 전이 학습을 통해 문법적 구조를 어떻게 인코딩하는지 조사하기 위해.
• 음악, 코드와 같은 비언어적 구조 데이터로 사전 훈련하면 인간 언어로의 일반화 성능이 향상되는지 평가하기 위해.
• 언어 모델의 유도 편향을 형성하는 데 있어 구조적 유도의 역할을 검토하기 위해.
• 언어 모델의 내부 표현이 유형론적 언어 특징을 반영하는지 평가하기 위해.
• 언어 간 문법적 유사성이 제로샷 전이 성능을 어느 정도 예측할 수 있는지 파악하기 위해.

제안 방법

• 음악 점수와 자바 소스 코드를 포함한 비언어적 구조 데이터로 LSTMs를 사전 훈련하여 구조적 표현을 유도하기 위해.
• 사전 훈련된 모델을 인간 언어 데이터셋으로 미세조정하여 전이 성능를 평가하기 위해.
• 서로 다른 문법적 유사성과 전혀 겹치지 않는 어휘를 가진 언어 쌍 간의 제로샷 전이 성능을 측정하기 위해.
• 훈련 언어와 테스트 언어 간의 구조적 유사성을 정량화하기 위해 문법 유형론 지표를 사용하기 위해.
• 다양한 종류의 구조 데이터 간 성능를 비교하여 어떤 것이 더 일반화 가능한 표현을 유도하는지 평가하기 위해.
• 내부 표현을 분석하여 그것이 유형론적으로 의미 있는 언어 특징을 인코딩하고 있는지 확인하기 위해.

실험 결과

연구 질문

• RQ1 비언어적 구조 데이터로 사전 훈련하면 언어 모델이 인간 언어로의 일반화 능력이 향상되는가?
• RQ2 훈련 데이터의 구조적 내용이 인간 언어로의 전이 성능에 어느 정도 영향을 미치는가?
• RQ3 어휘 겹침이 제거된 후에도 언어 간 제로샷 전이 성능이 문법적 유사성과 상관관계가 있는가?
• RQ4 언어 모델의 내부 표현은 알려진 언어 유형론 연구에서 기술된 특징과 차이를 반영하는 유형론적으로 일관된 표현을 학습하는가?
• RQ5 어떤 종류의 구조적 편향을 가진 훈련 데이터가 언어 모델링을 위한 가장 효과적인 유도 편향을 유도하는가?

주요 결과

• 음악과 자바 코드와 같은 구조적 데이터로 사전 훈련한 모델은 인간 언어로의 전이 성능가 뚜렷하게 향상되어, 구조적 유도가 일반화를 향상시킴을 시사한다.
• 훈련 데이터에 최소한의 구조적 내용이 포함되어 있어도 인간 언어로의 제로샷 전이 성능에 상당한 향상이 있다.
• 테스트 언어에서의 제로샷 성능은 훈련 언어와의 문법적 유사성과 강하게 상관관계가 있으며, 어휘 겹침을 모두 제거한 후에도 유지된다.
• 언어 모델의 내부 표현은 유형론적으로 일관되며, 언어 유형론 연구에서 기술된 특징과 차이를 반영하고 있다.
• 결과는 신경망이 인간이 관찰한 언어 유형론과 일치하는 구조적 편향을 학습함을 시사한다.
• 비언어적 구조로의 사전 훈련은 신경망 언어 모델의 유도 편향을 탐색하고 분석하는 데 실용적인 방법임을 보여준다.