[論文レビュー] The compositionality of neural networks: integrating symbolism and connectionism.

Dieuwke Hupkes, Verna Dankers+2 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 64被引用数 20

ひとこと要約

本稿では、言語学的・哲学的理論に基づいた合成性の理論的枠組みを提案し、合成性の検証のための5つのタスクに依存しない理論的根拠に基づくテストに翻訳する。このフレームワークは、非常に合成的なPCFG SETデータセット上でシーケンス・ツー・シーケンスモデルに適用され、体系的汎化、規則学習、同義語置換に対する耐性に関するアーキテクチャの強みと弱みを明らかにする。

ABSTRACT

Despite a multitude of empirical studies, little consensus exists on whether neural networks are able to generalise compositionally, a controversy that, in part, stems from a lack of agreement about what it means for a neural model to be compositional. As a response to this controversy, we present a set of tests that provide a bridge between, on the one hand, the vast amount of linguistic and philosophical theory about compositionality and, on the other, the successful neural models of language. We collect different interpretations of compositionality and translate them into five theoretically grounded tests that are formulated on a task-independent level. In particular, we provide tests to investigate (i) if models systematically recombine known parts and rules (ii) if models can extend their predictions beyond the length they have seen in the training data (iii) if models' composition operations are local or global (iv) if models' predictions are robust to synonym substitutions and (v) if models favour rules or exceptions during training. To demonstrate the usefulness of this evaluation paradigm, we instantiate these five tests on a highly compositional data set which we dub PCFG SET and apply the resulting tests to three popular sequence-to-sequence models: a recurrent, a convolution based and a transformer model. We provide an in depth analysis of the results, that uncover the strengths and weaknesses of these three architectures and point to potential areas of improvement.

研究の動機と目的

• ニューラルネットワークが合成的に一般化するかどうかという論争を解消すること。これは、合成性の定義が一貫していないことに起因する。
• 象徴的理論と実証的ニューラルネットワークモデルの間のギャップを埋めること。テストを言語学的・哲学的基盤に根ざさせることで実現する。
• 特定のタスクに依存せず、さまざまなニューラルアーキテクチャに適用可能な評価テストのセットを開発すること。
• 代表的なシーケンス・ツー・シーケンスモデル（再帰的、畳み込み型、トランスフォーマー型）が、複数の次元にわたってどのように合成的に一般化するかを評価すること。
• 体系的再結合、外挿、局所的・グローバルな操作、同義語置換に対する耐性、規則と例外の学習に関するアーキテクチャの強みと限界を特定すること。

提案手法

• 哲学および言語学における合成性の5つの異なる解釈を、5つの形式的でタスクに依存しない評価テストに翻訳する。
• 確率的文脈自由文法に基づいて、体系的汎化をテストするための合成的で高合成性のデータセット「PCFG SET」を設計する。
• 5つのテストを3つの最先端のシーケンス・ツー・シーケンスモデル（再帰的ネットワーク、畳み込みネットワーク、トランスフォーマー）に適用する。
• 既知の部分と規則の体系的再結合、トレーニングで見たことのないシーケンス長への外挿、合成操作の局所性、同義語置換に対する耐性、規則優先と例外記憶の傾向を評価する。
• 標準化された指標を用いて、すべての5つのテストでパフォーマンスを定量的に測定し、モデル間の比較を可能にする。
• 5つのテスト次元にわたるモデル行動の定性的および定量的分析を詳細に行う。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、トレーニングで組み合わせられなかった既知の部分や規則を、どの程度体系的に再結合できるか？
• RQ2 モデルは、トレーニング時に見られなかったシーケンス長に対して、予測を外挿できるか？
• RQ3 ニューラルネットワークの合成操作は、局所的（例：トークンレベル）か、グローバル（例：シーケンスレベル）か？
• RQ4 入力シーケンスにおける同義語置換に対して、モデルの予測はどの程度耐性があるか？
• RQ5 トレーニング中に、モデルは一般規則の学習を優先するのか、それとも例外の記憶を優先するのか？

主な発見

• トランスフォーマー型モデルは、体系的再結合と外挿において最も優れたパフォーマンスを示し、RNNおよびCNNアーキテクチャを上回った。
• すべてのモデルが同義語置換に対して限定的な耐性を示し、合成操作における意味的抽象化の欠如を示唆した。
• RNNおよびCNNモデルはよりグローバルな合成パターンを示したが、トランスフォーマーは局所的およびグローバルな行動の両方を示した。
• 3つのモデルすべてが、特にデータ量が少ない状況下で、例外の記憶を一般規則の学習よりも強く好む傾向を示した。
• すべてのモデルがトレーニング長を越えて一般化する能力は最小限であり、外挿能力をわずかに示したのはトランスフォーマーのみであった。
• この評価フレームワークは、アーキテクチャのバイアスと合成性に関する限界を効果的に露呈し、シーケンスモデルにおけるより良い誘導バイアスの必要性を強調した。