[논문 리뷰] What can linguistics and deep learning contribute to each other?

Tal Linzen|arXiv (Cornell University)|2018. 09. 11.

Natural Language Processing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 언어학과 딥러닝 간 상호 교환을 주장한다: 언어학자들은 정밀한 언어 능력을 정의하고 신경망을 평가하기 위한 통제된 실험을 설계할 수 있으며, 반대로 신경망은 인간의 문장 처리를 모델링하고 언어 습득 이론의 내재된 제약을 시험할 수 있다. 주요 기여는 언어 이론과 딥러닝 연구를 통합하는 프레임워크를 제안하여 언어 모델링과 인지과학 이해를 모두 향상시키는 데 있다.

ABSTRACT

Joe Pater's target article calls for greater interaction between neural network research and linguistics. I expand on this call and show how such interaction can benefit both fields. Linguists can contribute to research on neural networks for language technologies by clearly delineating the linguistic capabilities that can be expected of such systems, and by constructing controlled experimental paradigms that can determine whether those desiderata have been met. In the other direction, neural networks can benefit the scientific study of language by providing infrastructure for modeling human sentence processing and for evaluating the necessity of particular innate constraints on language acquisition.

연구 동기 및 목표

• 언어학과 딥러닝 간 격차를 좁히기 위해 다학제적 협력을 촉진하기 위해.
• 언어 기술 분야의 신경망 연구에서 명확한 언어 기준이 부족한 문제를 해결하기 위해.
• 신경망이 인간의 언어 습득 및 처리 이론을 시험하는 도구로 기능할 수 있음을 제안하기 위해.
• 언어학자들이 신경망 모델을 위한 측정 가능한 언어 능력을 정의하도록 장려하기 위해.
• 신경망을 인지과학에서 인간 문장 처리를 모델링하기 위한 실질적인 인프라로 위치시키기 위해.

제안 방법

• 신경 언어 모델이 가져야 할 특정 언어 능력을 언어학자들이 정의하도록 요청한다.
• 신경망이 이러한 언어적 바람직한 조건을 충족하는지 테스트하기 위한 통제된 실험 설계를 제안한다.
• 신경망을 실시간으로 인간의 문장 처리를 시뮬레이션하는 계산 도구로 위치시킨다.
• 프레임워크는 내재된 제약이 언어 습득 이론에서 필수적인지 평가하기 위해 신경망을 사용한다.
• 광범위한 성능 지표보다는 목표 지향적인 언어 과제를 통한 경험적 검증을 강조한다.
• 모델의 행동을 심리언어학적 현상과 일치시킴으로써 이론적 언어학과 딥러닝을 통합한다.

실험 결과

연구 질문

• RQ1 언어학은 어떻게 신경망의 언어 과제 성능 평가를 위한 명확하고 검증 가능한 기준을 제공할 수 있는가?
• RQ2 신경망은 얼마나 인간의 문장 처리를 반영하는 인지적으로 타당한 방식으로 모델링할 수 있는가?
• RQ3 신경망은 언어 습득 이론에서 내재된 제약의 필요성을 어떻게 테스트할 수 있는가?
• RQ4 어떻게 통제된 언어 실험을 설계하여 신경망 모델이 특정 언어 현상을 올바르게 포착하는지 평가할 수 있는가?
• RQ5 딥러닝은 성능 향상 외에 언어 과학 연구를 어떻게 향상시킬 수 있는가?

주요 결과

• 언어학자들이 정밀한 언어 능력을 정의하고 목표 지향적인 실험을 설계함으로써 신경망의 평가를 크게 향상시킬 수 있다.
• 신경망은 인간의 문장 처리를 모델링하는 실질적인 계산 모델로 기능할 수 있으며, 이는 인지 이론의 경험적 검증을 가능하게 한다.
• 언어 이론과 딥러닝의 통합은 더 해석 가능하고 과학적으로 의미 있는 모델 평가를 가능하게 한다.
• 통제된 실험 설계는 신경망 모델이 문법 일반화와 같은 특정 언어적 바람직한 조건을 충족하는지 여부를 판단하는 데 도움이 된다.
• 신경망은 언어 습득 이론에서 특정 내재된 제약이 필수적인지 여부를 테스트하는 데 사용될 수 있으며, 이는 인지과학에 새로운 도구를 제공한다.
• 제안된 프레임워크는 언어 모델 개발 및 평가에 더 엄격하고 이론 기반의 접근법을 가능하게 한다.