[論文レビュー] Pretraining on Non-linguistic Structure as a Tool for Analyzing Learning Bias in Language Models

Isabel Papadimitriou, Dan Jurafsky|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques参考文献 24被引用数 9

ひとこと要約

この論文は、音楽やJavaコードなどの非言語的構造データで事前学習することで、ニューラル言語モデルが文法的構造をどのようにエンコードするかを調査するトランスファーラーニング手法を提案する。非言語的構造データでの学習において、最小限の構造的誘導でも、人間の言語へのゼロショット転移性能が顕著に向上することが判明した。また、言語間の文法的類似性が高いほど転移性能が高くなる傾向が強く、言語型的整合性のある内部表現が得られていることが明らかになった。

ABSTRACT

We propose a novel methodology for analyzing the encoding of grammatical structure in neural language models through transfer learning. We test how a language model can leverage its internal representations to transfer knowledge across languages and symbol systems. We train LSTMs on non-linguistic, structured data and test their performance on human language to assess which kinds of data induce generalizable encodings that LSTMs can use for natural language. We find that models trained on structured data such as music and Java code have internal representations that help in modelling human language, and that, surprisingly, adding minimal amounts of structure to the training data makes a large difference in transfer to natural language. Further experiments on transfer between human languages show that zero-shot performance on a test language is highly correlated with syntactic similarity to the training language, even after removing any vocabulary overlap. This suggests that the internal representations induced from natural languages are typologically coherent: they encode the features and differences outlined in typological studies. Our results provide insights into how neural networks represent linguistic structure, and also about the kinds of structural biases that give learners the ability to model language.

研究の動機と目的

• ニューラル言語モデルがトランスファーラーニングを通じて文法的構造をどのようにエンコードするかを調査すること。
• 音楽やコードなどの非言語的構造データで事前学習することで、人間の言語への一般化性能が向上するかどうかを評価すること。
• 構造的誘導が言語モデリングの誘導バイアスを形成する役割を検討すること。
• 言語モデルの内部表現が言語型的言語特徴を反映しているかどうかを評価すること。
• 言語間の文法的類似性がゼロショット転移性能をどの程度予測できるかを特定すること。

提案手法

• 音楽スコアやJavaソースコードを含む非言語的構造データでLSTMを事前学習し、構造的表現を誘導すること。
• 人間の言語データセットで事前学習済みモデルを微調整し、転移性能を評価すること。
• 語彙の重複がないが、文法的類似性が異なる言語ペア間でゼロショット転移性能を測定すること。
• 文法的タイプロジー指標を用いて、訓練言語とテスト言語間の構造的類似性を定量化すること。
• 異なる種類の構造的データを比較し、より一般化可能な表現を誘導するデータタイプを評価すること。
• 内部表現を分析し、それが言語型的意味のある言語的特徴をエンコードしているかどうかを確認すること。

実験結果

リサーチクエスチョン

• RQ1 非言語的構造データで事前学習することで、言語モデルの一般化能力が人間の言語にまで向上するか？
• RQ2 訓練データの構造的内容が、人間の言語への転移性能にどの程度影響を与えるか？
• RQ3 語彙の重複を除いた状態でも、言語間のゼロショット転移性能はその文法的類似性と相関しているか？
• RQ4 言語モデルは、既知の言語型的分類に反映された意味のある言語的特徴を、タイプロジカルに整合した表現として学習しているか？
• RQ5 どのような構造的バイアスを訓練データに含めると、言語モデリングにおける最も効果的な誘導バイアスが得られるか？

主な発見

• 音楽やJavaコードなどの構造的データで事前学習したモデルは、人間の言語への顕著な転移性能を示しており、構造的誘導が一般化を促進していることが示唆される。
• 訓練データに最小限の構造的内容が存在する場合でも、人間の言語へのゼロショット転移性能が著しく向上することが確認された。
• テスト言語におけるゼロショット性能は、訓練言語との文法的類似性と強く相関しており、語彙の重複をすべて除去した後でも同様の傾向が見られた。
• 言語モデルの内部表現はタイプロジカルに整合的であり、言語型的言語学研究で記述された特徴や違いをエンコードしている。
• 神経ネットワークが人間が観察した言語型的分類と整合する構造的バイアスを学習していることが示唆された。
• 非言語的構造での事前学習は、ニューラル言語モデルにおける誘導バイアスを調査・分析する有効な手法であることが示された。