[論文レビュー] Exploring the Syntactic Abilities of RNNs with Multi-task Learning

Émile Enguehard, Yoav Goldberg+1 more|arXiv (Cornell University)|Jun 12, 2017

Topic Modeling参考文献 26被引用数 6

ひとこと要約

この論文は、RNNが、CCGスパーティングまたは言語モデル学習と併せて動詞の主語・動詞一致予測を共同で学習することで、より頑健な句構造表現を学習できるかどうかを調査している。マルチタスク学習は誤差率を顕著に低下させた——特に複雑な文において顕著で、RNNが強化された監視のもとでより優れた句構造一般化を達成でき、一致データがスパーティングなどの関連する句構造タスクの性能向上に寄与することを示している。

ABSTRACT

Recent work has explored the syntactic abilities of RNNs using the subject-verb agreement task, which diagnoses sensitivity to sentence structure. RNNs performed this task well in common cases, but faltered in complex sentences (Linzen et al., 2016). We test whether these errors are due to inherent limitations of the architecture or to the relatively indirect supervision provided by most agreement dependencies in a corpus. We trained a single RNN to perform both the agreement task and an additional task, either CCG supertagging or language modeling. Multi-task training led to significantly lower error rates, in particular on complex sentences, suggesting that RNNs have the ability to evolve more sophisticated syntactic representations than shown before. We also show that easily available agreement training data can improve performance on other syntactic tasks, in particular when only a limited amount of training data is available for those tasks. The multi-task paradigm can also be leveraged to inject grammatical knowledge into language models.

研究の動機と目的

• RNNが複雑な句構造を捉える能力に欠如している原因が、アーキテクチャ的制約にあるのか、自然言語コーパスからの監視が不十分であるのかを特定すること。
• CCGスパーティングや言語モデルなどの補助的句構造タスクと共同で学習することで、RNNの主語・動詞一致予測性能、特に複雑な文における性能向上を評価すること。
• 一致予測データが、CCGスパーティングのような低リソースな句構造タスクの性能向上に、弱い監視として有効に機能するかを調査すること。
• マルチタスク学習が、パープレキシティを低下させることなく、言語モデルの句構造認識能力を向上させるかどうかを評価すること。

提案手法

• 1つのRNNを、主語・動詞一致予測と、CCGスパーティングまたは言語モデル学習を共同で実行するように訓練した。
• モデルがタスク間で隠れ表現を共有し、タスク固有の損失の重み付き和を通じて同時に最適化されるマルチタスク学習フレームワークを用いた。
• 単純なヒューリスティクスが失敗する複雑な関係節を含むテストセットを用いて、一致予測の性能を評価した。
• 語彙的および品詞タグに基づく予測を用いて、文法的・非文法的動詞形の相対的尤度を比較することで、言語モデルの句構造認識能力を測定した。
• モデルの句構造制約への感受性を評価するために、語彙的および非語彙的の両方の評価手法を検討した。
• 単一タスクとマルチタスクモデルを比較するためのアブレーションスタディを実施し、特にスパーティングの低データ環境における性能向上に注目した。

実験結果

リサーチクエスチョン

• RQ1 句構造の補助タスク（例：CCGスパーティングや言語モデル学習）と共同で学習することで、RNNの主語・動詞一致予測性能、特に複雑な文において向上するか？
• RQ2 一致予測と共同で学習することで、パープレキシティが向上しなくても、言語モデルの句構造認識能力が向上するか？
• RQ3 一致データは、CCGスパーティングのような低リソースな句構造タスクの性能向上に、効果的な弱い監視として機能するか？
• RQ4 RNNの句構造制約の限界は、アーキテクチャ的制約に起因するのか、自然言語コーパスからの監視が不十分であるためか？

主な発見

• CCGスパーティングと共同で学習したことで、複雑な関係節を含む文における一致誤差率は49.4％から23.8％に低下し、正答率は50.6％から76.2％に上昇した。
• 言語モデル学習と共同で学習した結果、パープレキシティは低下しなかったが、文法的動詞形の相対的順位付けが顕著に向上し、より強い句構造認識能力を示した。
• CCGの学習データが限られた状況下でも、一致予測と共同で学習することでスパーティングの正答率が向上し、一致データが弱い監視として有効であることが示された。
• 一致予測と共同で学習した言語モデルは、品詞タグに基づく予測で、ほぼ専門家レベルの正確な動詞形の識別性能を達成し、単一タスク言語モデルやベースラインヒューリスティクスを上回った。
• 明示的な一致ヘッドが存在しない状況下でも、共同で学習した言語モデルは、文法的形を非文法的形よりも優遇する確率分布を生成し、より優れた句構造一般化能力を示した。
• 結果から、RNNは従来の観察よりも洗練された句構造表現を学習可能であることが示され、過去の研究における限界は、アーキテクチャの不適合ではなく、監視の不十分さに起因している可能性が高い。