[論文レビュー] What Artificial Neural Networks Can Tell Us About Human Language Acquisition

Alex Warstadt, Samuel R. Bowman|arXiv (Cornell University)|Aug 17, 2022

Natural Language Processing Techniques被引用数 24

ひとこと要約

この章は、人工ニューラルネットワークが人間の言語学習可能性についての概念実証の証拠を提供し得ると主張し、アブレーション研究と慎重に制御された学習環境を用いてモデルと人間の学習を比較しつつ、関連性の限界と最良の実践について強調します。

ABSTRACT

Rapid progress in machine learning for natural language processing has the potential to transform debates about how humans learn language. However, the learning environments and biases of current artificial learners and humans diverge in ways that weaken the impact of the evidence obtained from learning simulations. For example, today's most effective neural language models are trained on roughly one thousand times the amount of linguistic data available to a typical child. To increase the relevance of learnability results from computational models, we need to train model learners without significant advantages over humans. If an appropriate model successfully acquires some target linguistic knowledge, it can provide a proof of concept that the target is learnable in a hypothesized human learning scenario. Plausible model learners will enable us to carry out experimental manipulations to make causal inferences about variables in the learning environment, and to rigorously test poverty-of-the-stimulus-style claims arguing for innate linguistic knowledge in humans on the basis of speculations about learnability. Comparable experiments will never be possible with human subjects due to practical and ethical considerations, making model learners an indispensable resource. So far, attempts to deprive current models of unfair advantages obtain sub-human results for key grammatical behaviors such as acceptability judgments. But before we can justifiably conclude that language learning requires more prior domain-specific knowledge than current models possess, we must first explore non-linguistic inputs in the form of multimodal stimuli and multi-agent interaction as ways to make our learners more efficient at learning from limited linguistic input.

研究の動機と目的

• 制約条件下で、人工的な学習者が人間の言語学習可能性の概念実証を提供し得るかを評価する。
• 特定の利点が標的言語知識の習得に必要かを検証するためのアブレーションベースの方法論を提案する。
• 学習環境、モデルアーキテクチャ、入力モダリティが人間の言語学習への一般化可能性にどう影響するかを評価する。

提案手法

• 学習シナリオの二因子枠組みを提案する：生得的な学習者の帰納的偏りと学習環境、さらに想定される利点（A）を取り除くアブレーション手法。
• 人間の学習者に対してモデルの利点を人間より相対的に減じることで、貧困なモデル学習者から学習可能性の結果を一般化する戦略を概説する。
• ニューラルモデルにおける言語能力を評価するベンチマークと方法を調査・議論する。無監督テストと監督付きテストを含む。
• 人間の学習者とのデータ効率のギャップを埋めるため、マルチモーダルデータやエージェント間相互作用など、モデル入力の変更を提唱する。
• 能力と遂行の区別を論じ、行動テスト（適合性判断、読解時間、習得年齢）が能力推定にどのように示唆を与えるかを論じる。
• アブレーションが言語獲得における刺激の貧困と生得的偏りに関する議論にどのような示唆を与えるかを説明する。

実験結果

リサーチクエスチョン

• RQ1 特定の生得的または環境的利点なしに、貧困なモデル学習者は標的となる言語知識の学習可能性を示すことができるか？
• RQ2 アブレーションと変更された学習環境は、ニューラルモデルにおける人間に似た言語知識の獲得にどの程度影響するか？
• RQ3 どのベンチマークとテストが、人工的学習者における人間に似た言語能力や遂行を最もよく示すか？
• RQ4 学習環境におけるマルチモーダル入力と社会的相互作用は、データ効率と人間の学習への一般化にどう影響するか？
• RQ5 学習可能性理論が主張するように、どの条件下でモデルの結果が人間の言語獲得へ一般化するか？

主な発見

• アブレーション研究は、特定の仮説上の利点が特定の言語知識の獲得に必要でないことを示す厳密な概念実証を提供できる。
• 前提が慎重に整合されていれば、貧困なモデルからの肯定的（学習可能性）結果は、否定的な結果よりも人間への一般化性が高いことが多い。
• 学習環境をマルチモーダル入力とエージェント間相互作用で整備することで、データの豊富さを過度に高めることなく、モデルと人間のデータ効率のギャップを縮めるのに役立つ。
• 学習シナリオは学習者の帰納的バイアスと環境によって決定される。利点（A）を取り除くことで、それが標的知識の獲得に必要かどうかを検証する。
• ベンチマークとテスト（例：受容性判断、最小対、BLiMP、SyntaxGym、COGS、MSGS）は、ニューラルモデルにおける人間に似た言語能力を評価するのに不可欠である。