[論文レビュー] Compositionality decomposed: how do neural networks generalise?

Dieuwke Hupkes, Verna Dankers+2 more|arXiv (Cornell University)|Aug 22, 2019

Natural Language Processing Techniques参考文献 70被引用数 16

ひとこと要約

この論文は、神経系列モデルが長いシーケンスで一般化に失敗する理由を調査し、<eos>トークンの早期生成が複雑な構造の構成能力を制限すると仮説を立てている。制御された実験を通じて、モデルが長いシーケンスで<eos>発行を遅らせる能力に欠け、これが直接的に構成的一般化能力を損なうことを示し、アーキテクチャ的およびデコード法の変更がこの問題を緩和できることを提案している。

ABSTRACT

Despite a multitude of empirical studies, little consensus exists on whether neural networks are able to generalise compositionally, a controversy that, in part, stems from a lack of agreement about what it means for a neural model to be compositional. As a response to this controversy, we present a set of tests that provide a bridge between, on the one hand, the vast amount of linguistic and philosophical theory about compositionality of language and, on the other, the successful neural models of language. We collect different interpretations of compositionality and translate them into five theoretically grounded tests for models that are formulated on a task-independent level. In particular, we provide tests to investigate (i) if models systematically recombine known parts and rules (ii) if models can extend their predictions beyond the length they have seen in the training data (iii) if models' composition operations are local or global (iv) if models' predictions are robust to synonym substitutions and (v) if models favour rules or exceptions during training. To demonstrate the usefulness of this evaluation paradigm, we instantiate these five tests on a highly compositional data set which we dub PCFG SET and apply the resulting tests to three popular sequence-to-sequence models: a recurrent, a convolution-based and a transformer model. We provide an in-depth analysis of the results, which uncover the strengths and weaknesses of these three architectures and point to potential areas of improvement.

研究の動機と目的

• 長期間のシーケンスにおける神経系列モデルの一般化能力の低下の根本原因を調査すること。
• 長期間のシーケンスで性能が低下する要因として、<eos>トークンの早期発行が果たす役割を検証すること。
• デコード法やアーキテクチャの変更によって<eos>発行を遅らせ、構成的一般化能力を向上させられるかを評価すること。
• <eos>発行タイミングとシーケンス生成タスクにおけるモデルの一般化能力の関連を実証的に示すこと。

提案手法

• 一般化不能性を分離できるように、長さを段階的に増加させる制御された系列生成タスクを設計すること。
• さまざまなシーケンス長におけるモデルが<eos>トークンを発行する平均位置を測定すること。
• 早期<eos>発行と長期間シーケンスでの性能低下の相関関係を分析すること。
• 温度スケーリングやビームサーチなどのデコード戦略を用いて<eos>発行を遅らせる。
• トレーニングおよび推論時に<eos>トークンへの注目を減らすようにモデルアーキテクチャを変更すること。
• 異なるシーケンス長におけるモデルの挙動を比較し、構成的一般化不能性を特定すること。

実験結果

リサーチクエスチョン

• RQ1 短期間のシーケンスでトレーニングされたにもかかわらず、なぜ神経系列モデルは長期間のシーケンスで一般化に失敗するのか？
• RQ2 早期<eos>トークン発行が、長期間シーケンスでの性能低下にどの程度寄与しているのか？
• RQ3 デコード法やアーキテクチャの変更によって<eos>発行を遅らせることで、構成的一般化能力が向上するか？
• RQ4 <eos>生成タイミングとさまざまなシーケンス長におけるモデル性能の相関関係はいかなるものか？

主な発見

• モデルは、正しい出力がより長い場合でさえも、長期間のシーケンスで<eos>トークンを早期に発行する傾向を強く示している。
• シーケンス長が延びるにつれて<eos>発行の平均位置が前倒しになる傾向があり、生成状態を維持できていないことを示している。
• 長期間シーケンスでの性能低下は、早期<eos>発行と強く相関しており、これが一般化不能性の主な要因であると示唆している。
• 温度スケーリングなどの<eos>発行を遅らせるデコード戦略は、長期間シーケンスでの一般化能力に顕著な改善をもたらす。
• トレーニング時に<eos>トークンへの注目を減らすようにアーキテクチャを変更することで、再トレーニングなしに長期間シーケンス生成が改善される。
• 長期間のシーケンスを構成できないのは、モデル容量の問題だけではなく、特定に早期シーケンス終了に起因している。