[論文レビュー] Studying the Inductive Biases of RNNs with Synthetic Variations of Natural Languages

Shauli Ravfogel, Yoav Goldberg+1 more|arXiv (Cornell University)|Mar 15, 2019

Natural Language Processing Techniques被引用数 16

ひとこと要約

本稿では、語順、格マーク、一致パターンの違いを示す合成英語を生成することで、RNNの帰納的バイアスを研究する制御された実験フレームワークを提案する。解析済みのPenn Treebankコーパスを用い、パラメトリックに変更された言語を生成し、RNNが主語および目的語の複数化を予測するように訓練する。主な発見として、RNNは最近性バイアス（SVOよりSOVやVSOで成績が悪い）を示し、明示的な格マーク（特に合成形態であっても）の恩恵を著しく受ける。また、多タスクの多人格一致学習により、主語と目的語の両方の一般化が可能になる。

ABSTRACT

How do typological properties such as word order and morphological case marking affect the ability of neural sequence models to acquire the syntax of a language? Cross-linguistic comparisons of RNNs' syntactic performance (e.g., on subject-verb agreement prediction) are complicated by the fact that any two languages differ in multiple typological properties, as well as by differences in training corpus. We propose a paradigm that addresses these issues: we create synthetic versions of English, which differ from English in one or more typological parameters, and generate corpora for those languages based on a parsed English corpus. We report a series of experiments in which RNNs were trained to predict agreement features for verbs in each of those synthetic languages. Among other findings, (1) performance was higher in subject-verb-object order (as in English) than in subject-object-verb order (as in Japanese), suggesting that RNNs have a recency bias; (2) predicting agreement with both subject and object (polypersonal agreement) improves over predicting each separately, suggesting that underlying syntactic knowledge transfers across the two tasks; and (3) overt morphological case makes agreement prediction significantly easier, regardless of word order.

研究の動機と目的

• 特定のタイプロジカル特性（語順、屈折格、一致パターンなど）が、RNNの文法一般化の学習能力に与える影響を隔離すること。
• コーパス差異や複数のタイプロジカル変数を制御することで、言語間比較の限界を克服すること。
• RNNが特定の文法構造を他の構造よりも好む帰納的バイアスを示すかどうかを調査すること。
• 多タスク学習による多人格一致（主語および目的語の複数を同時に予測）が、主語と目的語の両方における文法一般化を向上させるかどうかを評価すること。
• 明示的格マークと語順の柔軟性が、RNNの一致予測性能に与える影響を特定すること。

提案手法

• 著者らは、合成言語を生成する基盤として、Universal Dependencies版Penn Treebankの解析済み英語コーパスを用いる。
• 文法的木構造を変更することで、語順（SVO, SOV, VOS, OVS, OSV, OVS）、格マーク（明確なもの、合成形、目的語マーク）、一致パターン（多人格一致）のパラメトリックな変化を生成する。
• 各合成言語について、動詞をマスクし、RNNが主語および目的語の複数性を予測するように訓練データを生成する。
• モデルは、マスクされた動詞予測タスクにおける主語および目的語の単数／複数特徴の予測精度で評価される。
• アプローチにより、一度に1つのタイプロジカルパラメータのみを変化させ、そのモデル性能への影響を隔離する。
• 貧困な刺激のパラダイムを用い、RNNが最近性に基づく一般化（動詞の直前で最も最近に出現した語）か、構造的位置に基づく一般化（最初の語）を好むかをテストする。

実験結果

リサーチクエスチョン

• RQ1 語順（例：SVO対SOV）が、RNNの主語および目的語の複数性予測能力に顕著な影響を与えるか？
• RQ2 明示的な屈折的格マークが、RNNの一致予測タスクにおける性能にどのように影響を与えるか？
• RQ3 多人格一致の多タスク学習（主語および目的語の両方の複数を予測）は、単一タスク学習よりも一般化性能を向上させるか？
• RQ4 RNNはどの程度最近性バイアスを示すか？すなわち、動詞の直前に出現した語に基づく一般化を好むか？
• RQ5 合成形態の格マーク（単数と複数の両方に共通のマークが使われる）は、明確な格マークと比較して性能にどのように影響を与えるか？

主な発見

• RNNは顕著な最近性バイアスを示し、SVO語順では主語複数性予測で95.7％の精度を達成するが、柔軟な語順では88.6％に低下し、SOVおよびVOS語順でもさらに低い成績を示す。
• 明示的な屈折的格マークは性能を著しく向上させる：すべての語順で、明確な格マークシステムでは主語および目的語の両方の複数性予測で98％を超える精度を達成する。
• 完全に合成形態の格マークシステム（複数性のみがマークされる）であっても、性能は高い水準を維持する—柔軟な語順では主語で96.0％、目的語で86.1％—これにより、格マークが顕著な帰納的バイアスを提供することが示された。
• 多人格一致学習（主語および目的語の両方の複数性を予測）は、単一タスク学習よりも性能を向上させ、主語と目的語の両方における文法的知識の転送が可能であることを示している。
• 貧困な刺激のシナリオにおいて、RNNは構造的位置一般化（主語は最初の語）よりも最近性に基づく一般化（動詞の直前に出現した語が主語）を好むことが確認され、最近性バイアスが裏付けられた。
• 格マークがなく、語順が柔軟な状況では、性能の低下が顕著で、目的語予測の精度は60.2％にまで低下する—これにより、格マークが目的語を明確に識別するために極めて重要であることが強調された。