[논문 리뷰] Universal linguistic inductive biases via meta-learning

R. Thomas McCoy, Erin Grant외 3명|arXiv (Cornell University)|2020. 06. 29.

Natural Language Processing Techniques참고 문헌 29인용 수 15

한 줄 요약

이 논문은 인위적 언어의 정제된 분포에서 훈련을 통해 신경망 모델에 보편적인 언어학적 사전 지식을 부여하는 메타학습 프레임워크를 제안한다. 이 방법은 추상적인 음절 구조 보편성—예를 들어 함의 관계—를 모델의 초기 파라미터에 효과적으로 통합하여, 인간과 유사한 사전 지식 기반 방식으로 미관측 언어 패턴으로의 일반화를 가능하게 한다.

ABSTRACT

How do learners acquire languages from the limited data available to them? This process must involve some inductive biases - factors that affect how a learner generalizes - but it is unclear which inductive biases can explain observed patterns in language acquisition. To facilitate computational modeling aimed at addressing this question, we introduce a framework for giving particular linguistic inductive biases to a neural network model; such a model can then be used to empirically explore the effects of those inductive biases. This framework disentangles universal inductive biases, which are encoded in the initial values of a neural network's parameters, from non-universal factors, which the neural network must learn from data in a given language. The initial state that encodes the inductive biases is found with meta-learning, a technique through which a model discovers how to acquire new languages more easily via exposure to many possible languages. By controlling the properties of the languages that are used during meta-learning, we can control the inductive biases that meta-learning imparts. We demonstrate this framework with a case study based on syllable structure. First, we specify the inductive biases that we intend to give our model, and then we translate those inductive biases into a space of languages from which a model can meta-learn. Finally, using existing analysis techniques, we verify that our approach has imparted the linguistic inductive biases that it was intended to impart.

연구 동기 및 목표

• 데이터 기반으로도 민첩하게 작동할 수 있는 계산 프레임워크를 개발하여 신경망이 보편적인 언어학적 사전 지식을 습득하도록 하는 것.
• 훈련 중에 학습되는 언어 특화 요소와 별개로 초기 모델 파라미터에 포함된 보편적 사전 지식을 분리하는 것.
• 메타학습이 가설화된 언어 보편성—예를 들어 음절 구조의 함의 관계—를 성공적으로 인코딩할 수 있음을 경험적으로 검증하는 것.
• 추상적인 사전 지식을 학습 가능한 언어 분포로 변환함으로써 상징적인지 이론과 신경망의 표현 능력을 연결하는 것.
• 특정 사전 지식이 언어 학습 모델에 미치는 행동적 영향을 테스트할 수 있는 일반화 가능한 방법을 제공하는 것.

제안 방법

• 모델이 학습해야 할 목표 언어 사전 지식(예: 음절 구조의 함의 보편성 등)을 정의한다.
• 이러한 사전 지식를 특정 구조적 제약과 의존 관계를 인코딩한 인위적 언어의 분포로 변환한다.
• 각 언어를 제한된 훈련 데이터를 가진 작업으로 간주하여, 이 분포에 대해 신경망을 메타학습으로 훈련시킨다.
• 메타학습 과정은 모델의 초기 파라미터 설정을 최적화하여, 이 분포에 속한 어떤 언어든 빠르게 적응할 수 있도록 한다.
• 하류 평가 작업을 통해 메타학습된 초기화 상태를 분석하여, 모델이 의도한 사전 지식을 보여주는지 확인한다.
• 기존 분석 기법을 활용해, 부분 입력 매핑으로부터 출력 패턴을 예측하는 것과 같은 특정 언어 보편성에 따라 모델이 일반화하는지 확인한다.

실험 결과

연구 질문

• RQ1 메타학습은 음절 구조의 함의 보편성과 같은 추상적인 언어학적 사전 지식을 신경망의 초기 파라미터에 효과적으로 인코딩할 수 있는가?
• RQ2 메타학습된 초기화 상태가 인간의 언어 습득 패턴과 일치하는 방식으로 모델의 일반화를 이끄는 정도는 어느 정도인가?
• RQ3 모델이 인위적 언어 분포에서 훈련된 경우에도 보편적 사전 지식과 언어 특화 학습 요소를 구분하고 분리할 수 있는가?
• RQ4 메타학습에 의해 부여된 사전 지식은 상징적인지 모델의 사전 지식와 비교해 볼 때 투명성과 행동 결과 측면에서 어떻게 다른가?
• RQ5 이 접근 방식은 기저의 생성 과정이 알려지지 않은 실제 언어 데이터로부터도 사전 지식를 발견하는 데 응용될 수 있는가?

주요 결과

• 메타학습된 모델은 음절 구조의 24개의 함의 관계를 성공적으로 습득하고 일반화하여, 의도한 사전 지식이 내재화되었음을 입증했다.
• 무작위 초기화된 모델과 비교해, 메타학습된 모델은 새로운 입력-출력 매핑(예: V 입력에서 .CV. 예측)에 대해 유의미하게 뛰어난 성능을 보여, 학습된 보편적 제약 조건이 존재함을 확인했다.
• 모델는 실제로 관측된 언어 유형에 대해 부드러운 편향을 보였지만, 전혀 관측되지 않은 유형을 완전히 배제하지는 않아, 언어 보편성이 절대적 제약이 아니라 확률적 경향임을 지지하는 결과를 보였다.
• 메타학습된 초기화 상태 분석을 통해 일관된 제약 순위 매기기 및 음소 분류(예: 특정 음소를 모음으로 간주하는 것)와 같은 사전 지식이 습득되었음을 확인했다.
• 이 프레임워크는 상징적 이론 기반 언어 보편성을 신경망과 호환되는 학습 가능한 데이터 기반 형식으로 성공적으로 변환했다.
• 이 접근 방식은 신경망에 인간과 유사한 사전 지식를 부여할 수 있으며, 이는 경험적으로 검증 가능하고 인지적으로 해석 가능한 방식임을 입증했다.