[論文レビュー] Compositional Generalization with Tree Stack Memory Units

Forough Arabshahi, Zhichu Lu+3 more|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、各ノードに微分可能スタックメモリユニットを統合することで構成的汎化を向上させる再帰的ニューラルネットワークアーキテクチャであるTree Stack Memory Units (Tree-SMU)を提案する。ソフトプッシュおよびポップ操作により子ノードの状態とスタックを結合することで、長距離依存関係を捉え、構造的順序を保持する。このアプローチにより、Transformer や Tree-LSTM と比較して、数学的推論ベンチマークで最先端のゼロショット一般化性能を達成した。

ABSTRACT

We study compositional generalization, viz., the problem of zero-shot generalization to novel compositions of concepts in a domain. Standard neural networks fail to a large extent on compositional learning. We propose Tree Stack Memory Units (Tree-SMU) to enable strong compositional generalization. Tree-SMU is a recursive neural network with Stack Memory Units (\SMU s), a novel memory augmented neural network whose memory has a differentiable stack structure. Each SMU in the tree architecture learns to read from its stack and to write to it by combining the stacks and states of its children through gating. The stack helps capture long-range dependencies in the problem domain, thereby enabling compositional generalization. Additionally, the stack also preserves the ordering of each node's descendants, thereby retaining locality on the tree. We demonstrate strong empirical results on two mathematical reasoning benchmarks. We use four compositionality tests to assess the generalization performance of Tree-SMU and show that it enables accurate compositional generalization compared to strong baselines such as Transformers and Tree-LSTMs.

研究の動機と目的

• 標準のニューラルネットワークが分布シフト下でゼロショット構成的汎化に失敗する問題に対処すること。
• Tree-LSTM などの再帰的ニューラルネットワークにおける誤差伝搬と長距離依存関係の捉えにくさを克服すること。
• 新しい構成に系統的汎化を可能にするメモリ拡張型再帰的アーキテクチャを設計すること。
• 深さの外挿や意味的同等性を含む、複数の構成性テストを通じて一般化性能を評価すること。
• 内部メモリ統合がゼロショット一般化とデータ効率の両方を向上させることを示すこと。

提案手法

• Tree-SMUは、各ノードに微分可能スタック構造を持つスタックメモリユニット（SMU）を内蔵する再帰的ニューラルネットワークである。
• 各SMUは、ゲーティング機構によって制御されるゲートを介して、スタックへの読み取りおよび書き込みを学習する。
• 親ノードのスタックは、子ノードのスタックと隠れ状態をゲーティング機構を用いて統合することで形成される。
• ソフトプッシュおよびポップ操作により、モデルは子孫からの情報を格納・取得でき、非局所的依存関係への間接的アクセスが可能になる。
• スタック構造により、子孫の順序が保持され、局所性が保たれ、階層的構成をサポートする。
• メモリをセル内に統合することで、先行研究で観察された外部メモリモジュールの失敗を回避する。

実験結果

リサーチクエスチョン

• RQ1 内部スタックメモリを備えた再帰的ニューラルネットワークは、標準アーキテクチャと比較して、新しい構成におけるより優れたゼロショット一般化を達成できるか？
• RQ2 スタックメモリ機構は、学習時に見られなかったより深いまたは浅い構成に対しても一般化を向上させるか？
• RQ3 構造的に異なるが機能的に同一の式に対して、モデルは意味的に同等の表現を学習できるか？
• RQ4 スタックメモリの統合は、再帰的ネットワークにおけるデータ効率と誤差補正にどのように影響するか？
• RQ5 提案されたアーキテクチャは、Transformer や Tree-LSTM といった強力なベースラインを、構成的推論タスクで上回るか？

主な発見

• Localism Testでは、Tree-SMUがテストセットで98.86%の精度を達成し、Tree-LSTM（91.58%）および Tree-RNN（85.36%）を顕著に上回った。
• Compositionality Testでは、Tree-SMUが83.29%の精度を達成し、Tree-LSTM（83.06%）および Tree-RNN（83.06%）を上回り、分布シフトに対してより高いロバストネスを示した。
• Depth Extrapolation Testでは、Tree-SMUが79.57%の精度を達成し、Tree-LSTM（77.58%）および Tree-RNN（75.00%）を顕著に上回った。
• Tree-SMUは、すべての4つの構成性テストで一貫したパフォーマンスを示し、強力なゼロショット一般化能力を示した。
• モデルはデータ効率が向上しており、訓練セット（深さ5〜13）での訓練精度が95.04%に達した。これは限られたデータからの学習が優れていることを示している。
• アブレーションスタディにより、スタック拡張RNNを木構造ネットワークに単純に拡張した場合に失敗することが確認され、統合されたSMU設計の必要性が裏付けられた。