[논문 리뷰] What Artificial Neural Networks Can Tell Us About Human Language Acquisition

Alex Warstadt, Samuel R. Bowman|arXiv (Cornell University)|2022. 08. 17.

Natural Language Processing Techniques인용 수 24

한 줄 요약

이 챕터는 인공 신경망이 인간의 언어 학습 가능성에 대한 개념 증명(proof-of-concept) 증거를 제공할 수 있다고 주장하며, 에블레이션 연구와 신중하게 제어된 학습 환경을 활용해 모델과 인간의 학습을 비교하고, 관련성에 대한 한계와 최적의 실천 지침을 강조합니다.

ABSTRACT

Rapid progress in machine learning for natural language processing has the potential to transform debates about how humans learn language. However, the learning environments and biases of current artificial learners and humans diverge in ways that weaken the impact of the evidence obtained from learning simulations. For example, today's most effective neural language models are trained on roughly one thousand times the amount of linguistic data available to a typical child. To increase the relevance of learnability results from computational models, we need to train model learners without significant advantages over humans. If an appropriate model successfully acquires some target linguistic knowledge, it can provide a proof of concept that the target is learnable in a hypothesized human learning scenario. Plausible model learners will enable us to carry out experimental manipulations to make causal inferences about variables in the learning environment, and to rigorously test poverty-of-the-stimulus-style claims arguing for innate linguistic knowledge in humans on the basis of speculations about learnability. Comparable experiments will never be possible with human subjects due to practical and ethical considerations, making model learners an indispensable resource. So far, attempts to deprive current models of unfair advantages obtain sub-human results for key grammatical behaviors such as acceptability judgments. But before we can justifiably conclude that language learning requires more prior domain-specific knowledge than current models possess, we must first explore non-linguistic inputs in the form of multimodal stimuli and multi-agent interaction as ways to make our learners more efficient at learning from limited linguistic input.

연구 동기 및 목표

• 인공 학습자가 제한된 조건에서 인간의 언어 학습 가능성에 대한 개념 증명을 제공할 수 있는지 평가합니다.
• 특정 이점이 목표 언어 지식을 습득하는 데 필요한지 테스트하기 위한 에블레이션 기반 방법론을 제안합니다.
• 학습 환경, 모델 아키텍처, 입력 모달리티가 인간 언어 학습에 대한 일반화에 어떤 영향을 미치는지 평가합니다.

제안 방법

• 학습 시나리오의 두 가지 요인 프레이밍을 제안합니다: 선천적 학습자 귀납적 편향과 학습 환경, 더불어 추정된 이점을 제거하는 에블레이션(A) 접근법을 제시합니다.
• 모델 학습자에 비해 인간 학습자에 비례하여 이점을 줄임으로써 빈곤한 모델 학습자에서 인간으로의 일반화를 위한 전략을 개요합니다.
• 신경 모델의 언어적 성능 평가 벤치마크와 방법을 조사하고 논의합니다(무감독 및 감독 학습 테스트 포함).
• 데이터 효과성 격차를 해소하기 위해 다중 모달 데이터, 상호 에이전트 인터랙션 등 모델 입력을 수정할 것을 주장합니다.
• 행동 능력 테스트(수용 판단, 독해 시간, 학습 연령) 가설에 의한 능력 추론에 대해 컴피턴스와 퍼포먼스의 차이에 대해 논의합니다.
• 에블레이션이 언어 습득에서 자극의 가난과 선천적 편향에 관한 논쟁에 어떻게 기여하는지 설명합니다.

실험 결과

연구 질문

• RQ1 빈곤한 모델 학습자가 특정 선천적이거나 환경적 이점 없이 대상 언어 지식의 학습 가능성을 보여줄 수 있습니까?
• RQ2 에블레이션과 바뀐 학습 환경이 신경 모델의 인간과 유사한 언어 지식 습득에 어떤 영향을 미칩니까?
• RQ3 어떤 벤치마크와 테스트가 인공 학습자에서 인간과 유사한 언어 컴퍼턴스나 퍼포먼스를 가장 잘 드러냅니까?
• RQ4 다중 모달 입력과 학습 환경의 사회적 상호작용이 데이터 효율성과 인간 학습으로의 일반화에 어떤 영향을 줍니까?
• RQ5 학습 가능성 이론이 주장하는 바에 따라 모델 결과가 인간 언어 습득으로 일반화되는 조건은 무엇입니까?

주요 결과

• 에블레이션 연구는 특정 언어 지식 습득에 필요한 특정 이점이 반드시 필요하지 않음을 보여주는 개념 증명의 엄격한 증거를 제공할 수 있습니다.
• 가난한 모델의 긍정적(학습 가능성) 결과는 가정의 정렬이 신중할 때 인간에게 더 일반화되는 경우가 많습니다.
• 다중 모달 입력과 상호 에이전트 인터랙션으로 학습 환경을 확장하면 데이터 강건성을 높이지 않고도 모델과 인간 사이의 데이터 효율성 차이를 줄일 수 있습니다.
• 학습 시나리오는 학습자의 귀납적 편향과 환경에 의해 결정되며, 이점을 제거하는(A) 실험은 대상 지식(T)을 습득하는 데 그 이점이 필요한지 여부를 테스트합니다.
• 벤치마킹과 테스트(예: 수용 판단, 최소 페어, BLiMP, SyntaxGym, COGS, MSGS)는 신경 모델에서 인간과 유사한 언어 퍼포먼스를 평가하는 데 필수적입니다.