[論文レビュー] What can linguistics and deep learning contribute to each other?

Tal Linzen|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques参考文献 36被引用数 5

ひとこと要約

この論文は、言語学とディープラーニングの相互的交流を主張している。言語学者は明確な言語的能力を定義し、ニューラルネットワークの評価を目的とした制御された実験を設計できる。一方で、ニューラルネットワークは人間の文処理をモデル化し、言語習得における先天的制約を検証できる。主な貢献は、言語理論とディープラーニング研究を統合するフレームワークを提唱し、言語モデリングおよび認知科学の理解を両方向上させることにある。

ABSTRACT

Joe Pater's target article calls for greater interaction between neural network research and linguistics. I expand on this call and show how such interaction can benefit both fields. Linguists can contribute to research on neural networks for language technologies by clearly delineating the linguistic capabilities that can be expected of such systems, and by constructing controlled experimental paradigms that can determine whether those desiderata have been met. In the other direction, neural networks can benefit the scientific study of language by providing infrastructure for modeling human sentence processing and for evaluating the necessity of particular innate constraints on language acquisition.

研究の動機と目的

• 言語学とディープラーニングの間の溝を埋めるために、学際的協力を促進すること。
• 言語技術分野におけるニューラルネットワーク研究における明確な言語的ベンチマークの欠如に対処すること。
• ニューラルネットワークが人間の言語習得および処理理論の検証に役立つツールであると提唱すること。
• 言語学者がニューラルモデルのための測定可能な言語的能力を定義するよう促すこと。
• ニューラルネットワークを認知科学における人間の文処理をモデル化するための実用的インfraストラクチャとして位置づけること。

提案手法

• 言語学者に、ニューラル言語モデルが期待される特定の言語的能力を定義するよう要請する。
• ニューラルネットワークがこれらの言語的望ましい性質を満たしているかどうかをテストするための制御された実験的枠組みを提案する。
• ニューラルネットワークを、リアルタイムでの人間の文処理を模倣する計算的ツールとして位置づける。
• フレームワークは、言語習得理論における先天的制約の必要性を評価するためにニューラルネットワークを用いる。
• 広範なパフォーマンス指標ではなく、的を射た言語的タスクを通じた実証的検証を強調する。
• モデルの行動を心理言語学的現象と一致させることで、理論的言語学とディープラーニングを統合する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして言語学が、ニューラルネットワークの言語タスクにおけるパフォーマンス評価のための明確で検証可能なベンチマークを提供できるか？
• RQ2 ニューラルネットワークは、認知的に妥当な方法で人間の文処理をどの程度モデル化できるか？
• RQ3 ニューラルネットワークは、言語習得における先天的制約の必要性を検証するために、どのような役割を果たせるか？
• RQ4 特定の言語現象を捉えられるかどうかを評価するため、どのように制御された言語的実験を設計できるか？
• RQ5 ディープラーニングは、パフォーマンスの向上を越えて、言語の科学的研究をどのように発展させられるか？

主な発見

• 言語学者が明確な言語的能力を定義し、的を射た実験を設計することで、ニューラルネットワークの評価を著しく改善できる。
• ニューラルネットワークは、認知理論の実証的検証を可能にする、実用的な計算モデルとして人間の文処理をモデル化できる。
• 言語理論とディープラーニングの統合により、より解釈可能で科学的に意味のあるモデル評価が可能になる。
• 制御された実験的枠組みを用いることで、構文的一般化などの特定の言語的望ましい性質を満たしているかどうかを判断できる。
• ニューラルネットワークは、言語習得における特定の先天的制約が本当に必要かどうかを検証するのにも利用でき、認知科学における新しいツールを提供する。
• 提示されたフレームワークにより、より厳密で理論に基づいたアプローチで言語モデルの開発と評価が可能になる。