[論文レビュー] Self-Attentive Associative Memory

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling被引用数 6

ひとこと要約

本論文は、自己注意機構を用いた自己注意的連想記憶（Self-Attentive Associative Memory, SAM）と呼ばれる新しいニューラルネットワークモジュールを提案する。このモジュールは、外積を用いてアイテム記憶と関係記憶を分離し、記憶要素間の高次関係をモデル化する。この手法により、記憶化と関係的推論の両方をエンド・ツー・エンドで学習可能となり、幾何学、グラフ学習、質問応答など多様なタスクで競争力のある性能を達成する。

ABSTRACT

Heretofore, neural networks with external memory are restricted to single memory with lossy representations of memory interactions. A rich representation of relationships between memory pieces urges a high-order and segregated relational memory. In this paper, we propose to separate the storage of individual experiences (item memory) and their occurring relationships (relational memory). The idea is implemented through a novel Self-attentive Associative Memory (SAM) operator. Found upon outer product, SAM forms a set of associative memories that represent the hypothetical high-order relationships between arbitrary pairs of memory elements, through which a relational memory is constructed from an item memory. The two memories are wired into a single sequential model capable of both memorization and relational reasoning. We achieve competitive results with our proposed two-memory model in a diversity of machine learning tasks, from challenging synthetic problems to practical testbeds such as geometry, graph, reinforcement learning, and question answering.

研究の動機と目的

• 外部記憶に依存する従来のニューラルネットワークの限界を克服すること。これらの手法は記憶相互作用の単一で劣化した表現に依存している。
• 単なる保存を超えて、記憶要素間の関係を明示的にモデル化することで、高次関係的推論を可能にすること。
• アイテム記憶と関係記憶を統合した一様な順序処理アーキテクチャを設計し、記憶と推論を同時に最適化すること。
• 質問応答や強化学習を含む、関係的推論を要する複雑なタスクにおける性能を向上させること。
• 異なる機械学習ベンチマークにおいて、二重記憶アーキテクチャの有効性を実証すること。

提案手法

• SAM演算子は、アイテム記憶ベクトルのペア間の外積を用いて関係記憶を構築し、高次元の連想記憶行列を形成する。
• 行列の各エントリは、二つの記憶要素間の仮想の高次関係を表し、豊富な関係表現を可能にする。
• モデルは推論中に関係的パターンの関心を動的に注視するために自己注意機構を用いる。
• アイテム記憶は個々の経験を保存するのに対し、関係記憶はそれらの間の相互作用や構造的関係を捉える。
• 二つの記憶ストリームは単一の順序処理アーキテクチャに統合され、記憶と推論の両方の目的関数を用いたエンド・ツー・エンド学習を可能にする。
• フレームワークは微分可能学習をサポートしており、両方の記憶タイプにおける勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャが、推論能力の向上を図るために、アイテム記憶と関係記憶を効果的に分離できるか？
• RQ2 外積を用いて構築された高次関係記憶は、多様なタスクにおいて複雑な関係をどれほど的確に捉えることができるか？
• RQ3 アイテム記憶と関係記憶の統合は、関係的推論を要するタスクにおける性能向上に寄与するか？
• RQ4 提案されたSAM演算子は、合成的および現実世界のベンチマーク、特にグラフや強化学習タスクにおいて汎用性を示せるか？
• RQ5 記憶と推論の両性能において、既存のメモリ拡張ネットワークと比較してSAMモデルはどのように優れているか？

主な発見

• SAMモデルは、関係的推論を要する挑戦的な合成タスクにおいて競争力のある性能を達成し、複雑なパターンの学習能力を示している。
• 幾何学的推論、グラフベースのタスク、質問応答を含む実用的テストベッドにおいて、強力な一般化性能を示している。
• アイテム記憶と関係記憶を分離することで、単一記憶アーキテクチャに比べてより表現力があり構造的な表現が可能になった。
• 外積を用いた連想記憶の構築により、関係に関する明示的教師信号がなくても高次関係のモデル化が可能になった。
• エンド・ツー・エンドで学習可能な設計により、多様なドメインにおいて記憶と関係的推論の効果的な統合学習が可能になった。
• 視覚的質問応答や強化学習環境などのベンチマークにおいて、既存のメモリ拡張ネットワークを上回るか同等の性能を示した。