[論文レビュー] Compositional generalization through meta sequence-to-sequence learning

Brenden M. Lake|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 34被引用数 44

ひとこと要約

この論文は memory-augmented networks を用いた meta sequence-to-sequence（meta seq2seq）学習を導入し、SC A N のようなタスクで構成的一般化を達成し、標準の seq2seq を上回り、いくつかの実験で人間に近い一般化に迫る。外部記憶を用いた変数の抽象化と episodic meta-training による新しいプリミティブの迅速学習を実証しつつ、より長いシーケンスへの外挿には限界があることに注意。

ABSTRACT

People can learn a new concept and use it compositionally, understanding how to "blicket twice" after learning how to "blicket." In contrast, powerful sequence-to-sequence (seq2seq) neural networks fail such tests of compositionality, especially when composing new concepts together with existing concepts. In this paper, I show how memory-augmented neural networks can be trained to generalize compositionally through meta seq2seq learning. In this approach, models train on a series of seq2seq problems to acquire the compositional skills needed to solve new seq2seq problems. Meta se2seq learning solves several of the SCAN tests for compositional learning and can learn to apply implicit rules to variables.

研究の動機と目的

• 標準的な seq2seq モデルの構成的一般化における限界を動機づけ、定量化する。
• エピソード的なタスクで訓練され、構成的に学ぶ方法を学習するための記憶拡張メタ seq2seq 学習器を提案する。
• SCAN由来のタスク（相互排他性、新しいプリミティブの追加、既知の概念の組み合わせ、より長いシーケンスの一般化を含む）でこのアプローチを実証する。

提案手法

• 外部のキー-バリュー記憶が各エピソードのサポートアイテムを格納する、メモリ拡張シーケンス対シーケンスのバックボーンを使用する。
• クエリとサポートアイテムを双方向 LSTM でエンコードし、最終的なサポートエンコードを記憶のキーと値として保存する。
• メモリを参照して各ステップのデコーダ用コンテキストを生成するため、ステップごとの文脈を計算する。
• 各エピソードがサポートとクエリアイテムを伴う新しい seq2seq 問題を提供するエピソード間訓練（meta-training）で訓練する。エピソードごとに重みを1回だけ更新する（テスト中は追加の重み更新なし）。
• アブレーションでは、メモリなしの標準 seq2seq と比較し、サポート損失やデコーダ注意の削除の影響をテストする。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張メタ学習フレームワークは seq2seq タスクにおいて系統的な構成的一般化を可能にするか？
• RQ2 モデルは変数に対して暗黙の規則を適用することをどの程度学習し、新しい組み合わせやより長いシーケンスに一般化できるのか？
• RQ3 追加の訓練補助（サポート損失、デコーダ注意）は性能とメモリ利用に実質的な影響を与えるか？
• RQ4 拡張・拡張されたプリミティブ集合および新しいプリミティブを迅速に習得するタスクにおいて、meta seq2seq はどのように機能するか？
• RQ5 長い出力シーケンスへの外挿における meta seq2seq の限界は何か？

主な発見

• Meta seq2seq は SCAN風タスクで強力な構成的一般化を達成し、標準の seq2seq および構文的注意ベースラインを上回る。
• 相互排他性タスクでは、外部記憶を活用してサポートアイテムに基づいて unseen symbol をマッピングすることで100%の精度を達成する。
• 元の SCAN add-jump タスクでは、meta seq2seq は約99%の精度に達するのに対し、標準の seq2seq はほぼ0%に近い。
• 拡張（より大きなプリミティブ集合）では、four original primitives を用いたテストで約98.7% の精度を meta seq2seq が達成するのに対し、標準 seq2seq は約12%、構文的注意は約29%（実行間の変動あり）のままである。
• meta-training の下で新しいプリミティブ（例：jump）を高精度で推測・組み合わせることに meta seq2seq は成功するが、テストがより長いシーケンスや訓練長を超えた外挿を要求すると性能が低下し、真に系統的な一般化には限界があることを示している。