[논문 리뷰] Injecting structural hints: Using language models to study inductive biases in language learning

Isabel Papadimitriou, Dan Jurafsky|arXiv (Cornell University)|2023. 04. 25.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 GPT-2 크기의 언어 모델을 형식적 구조 데이터로 사전학습시켜 구조적 사전 지식—재귀적 계층 구조, 비문맥 자유형 교차 의존성, 지프 법칙에 따르는 어휘 분포—를 주입함으로써 언어 학습에서의 인도적 편향(inductive biases)을 조사한다. 주요 발견은 비문맥 자유형 교차 의존성이 단순한 재귀성보다 더 강력한 인도적 편향으로 작용하며, 1%의 문맥 민감한 구조가 구성 요소 재귀성을 깨뜨리는 하이브리드 모델에서 성능 향상이 더욱 두드러진다는 것이다.

ABSTRACT

Both humans and large language models are able to learn language without explicit structural supervision. What inductive biases make this learning possible? We address this fundamental cognitive question by leveraging transformer language models: we inject inductive bias into language models by pretraining on formally-structured data, and then evaluate the biased learners' ability to learn typologically-diverse natural languages. Our experimental setup creates a testbed for hypotheses about inductive bias in human language learning. We investigate the effect of injecting models with three types of inductive bias: 1) recursive, hierarchical processing, 2) crossing token-token relationships that can't be modeled by context-free grammars, and 3) a Zipfian power-law vocabulary distribution. We show that non-context-free relationships form the best inductive biases. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run on humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.

연구 동기 및 목표

• 자기주도적으로 명시적 지도 없이 자연어를 학습할 수 있도록 하는 구조적 인도적 편향이 무엇인지 조사하기 위해.
• 재귀성, 비문맥 자유형 의존성, 또는 지프 법칙에 따르는 어휘 분포가 언어 학습에서 더 강력한 인도적 편향으로 작용하는지 테스트하기 위해.
• 다양한 구조적 편향을 조합할 경우 후행 언어 모델링 성능에 어떤 영향을 미치는지 탐색하기 위해.
• 인간 언어 습득의 인지적 인도적 편향을 설명할 수 있는 검증 가능한 가설을 도출하기 위해.
• 인공 학습자들을 사용하여 인간 언어 인지의 근본적인 질문을 탐구할 수 있는 통제된 실험 프레임워크를 제공하기 위해.

제안 방법

• 재귀적 구성 구조, 교차 의존성, 지프 법칙에 따르는 단어 빈도 분포를 강제하는 합성 형식 언어 코퍼스를 사용해 GPT-2 크기의 언어 모델을 사전학습시키기 위해.
• 각 인도적 편향을 형식 문법 제약 조건이 있는 별도의 합성 데이터셋으로 미세조정함으로써 주입하기 위해.
• 영어, 일본어, 바스크어의 위키백과 스타일 텍스트를 사용해 후행 언어 모델링 작업에서 모델 성능을 평가하기 위해.
• 모델 간 성능 비교를 위해 퍼즐리티(perplexity)를 주요 메트릭으로 사용하기 위해.
• 주로 재귀적 편향이지만 일부 문맥 민감한 구조 비율을 변화시켜 하이브리드 효과를 시험하기 위해.
• 사전학습 데이터와 미세조정 데이터 간 어휘 겹침이 없도록 하여 어휘 노출 효과를 격리하기 위해.

실험 결과

연구 질문

• RQ1 재귀적 계층적 구조에 대한 인도적 편향이 비문맥 자유형 교차 의존성에 비해 언어 학습에서 더 우수한 성능을 내는가?
• RQ2 주로 재귀적이지만 소수의 문맥 민감한 의존성이 포함된 하이브리드 인도적 편향이 순수한 재귀성보다 더 효과적인가?
• RQ3 사전학습과 미세조정 간 어휘 겹침이 없더라도 지프 법칙에 따르는 비율 분포 편향이 언어 학습 성능을 향상시키는가?
• RQ4 다양한 문법 유형의 언어에서 서로 다른 인도적 편향이 문법적 및 논의 수준의 구조 습득에 어떤 영향을 미치는가?
• RQ5 인공 언어 모델이 인간 언어 학습 편향에 대한 가설을 생성하기 위한 통제된 실험 플랫폼으로 기능할 수 있는가?

주요 결과

• 비문맥 자유형 교차 의존성을 사전학습에 주입한 모델이 후행 언어 모델링 작업에서 단순히 재귀적 구성 구조 편향만을 가진 모델보다 성능이 뛰어났다.
• 기존에 재귀적 편향이지만 문맥 민감한 교차 의존성이 1%만 포함된 경우 언어 학습 성능 향상이 뚜렷하게 관찰되었다.
• 어휘 겹침이 없더라도 지프 법칙에 따르는 어휘 분포 편향이 후행 언어 모델링 성능을 향상시켰다.
• 재귀적 편향과 비문맥 자유형 편향 모두 무작위 및 규칙적인 언어 기반 모델보다 유의미하게 뛰어나, 강력한 인도적 편향 효과를 보였다.
• 이 결과는 단순히 재귀성만이 언어 학습에서 가장 중요한 인도적 편향이라는 가설을 도전하며, 복잡한 비문맥 자유형 관계가 동일하거나 더 강력할 수 있음을 시사한다.
• 본 연구는 인공 언어 모델이 인간 언어 습득에 대한 인지적 가설을 탐구하는 데 실용적인 실험 플랫폼이 될 수 있음을 입증한다.