[論文レビュー] Hierarchical Memory Networks

Sarath Chandar, Sungjin Ahn+4 more|arXiv (Cornell University)|May 24, 2016

Topic Modeling参考文献 22被引用数 49

ひとこと要約

本稿では、大規模な外部メモリ上でスケーラブルで微分可能なアテンションを実現するため、K-Maximum Inner Product Search (K-MIPS) を用いた階層的メモリネットワーク (HMNs) を提案する。階層的メモリ構造を採用し、近似 K-MIPS アルゴリズムを活用することで、完全なソフトマックスアテンションに比べて高速な学習・推論を実現しながらも、ハードアテンションに比べて高い精度を維持する。シンプルクエスチョンズで 62.2% の精度を達成し、1 クエリあたり平均 1,290 回のメモリアクセスで実現した。

ABSTRACT

Memory networks are neural networks with an explicit memory component that can be both read and written to by the network. The memory is often addressed in a soft way using a softmax function, making end-to-end training with backpropagation possible. However, this is not computationally scalable for applications which require the network to read from extremely large memories. On the other hand, it is well known that hard attention mechanisms based on reinforcement learning are challenging to train successfully. In this paper, we explore a form of hierarchical memory network, which can be considered as a hybrid between hard and soft attention memory networks. The memory is organized in a hierarchical structure such that reading from it is done with less computation than soft attention over a flat memory, while also being easier to train than hard attention over a flat memory. Specifically, we propose to incorporate Maximum Inner Product Search (MIPS) in the training and inference procedures for our hierarchical memory network. We explore the use of various state-of-the art approximate MIPS techniques and report results on SimpleQuestions, a challenging large scale factoid question answering task.

研究の動機と目的

• 外部メモリのサイズに比例してスケーリングするソフトアテンションのスケーラビリティの限界を解消すること。
• 強化学習に基づくハードアテンション機構の学習不安定性と高い分散を克服すること。
• ソフトアテンションの微分可能性とハードアテンションの効率性を組み合わせたハイブリッドアテンション機構を開発すること。
• データセット固有のヒューリスティクスに依存せずに、大規模な事実ベースの質問応答タスクにおけるメモリネットワークのエンドツーエンド学習を可能にすること。
• 近似 K-MIPS 技術の有効性を評価し、計算コストを顕著に削減しながらも性能を維持できるかを検証すること。

提案手法

• 外部メモリを階層的構造に整理することで、アテンション機構の検索空間を縮小する。
• K-MIPS をコアの検索メカニズムとして採用し、クエリとの内積が最大となる上位 K 個のメモリベクトルを選択する。
• K-MIPS 操作を微分可能なアテンションモジュールに統合し、リーダーとライターのコンポonentを経由するエンドツーエンドのバックプロパゲーションを可能にする。
• 推論および学習の高速化を図るため、クラスタリング、WTA-Hash、PCA-Tree などの近似 K-MIPS アルゴリズムを用いる。
• クラスタリングベースの K-MIPS における近似バイアスを低減するため、Top-K、Sample-K、Rand-block の 3 つの戦略を導入する。
• ハイパーパramータを調整して、各手法間で同等の高速化を確保し、精度および収束性の公平な比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 K-MIPS アテンションは、大規模な知識ベース推論を目的とした微分可能でエンドツーエンド学習可能なメモリネットワークに効果的に適用可能か？
• RQ2 近似 K-MIPS 手法は、完全なソフトマックスアテンションと比較して、精度および学習効率の面でどの程度の性能を示すか？
• RQ3 Top-K や Sample-K などの K-MIPS 近似戦略の組み合わせのうち、近似バイアスを最小限に抑えつつ計算コストの削減を達成できるのはどれか？
• RQ4 階層的メモリ構造は、平坦なメモリアーキテクチャと比較して、収束速度および一般化性能を向上させられるか？
• RQ5 提案手法は、先行研究で用いられるヒューリスティクスベースのフィルタリング手法を上回る性能を示せるか？

主な発見

• 正確な K-MIPS アテンション機構は、SimpleQuestions テストセットで 62.2% の精度を達成し、完全なソフトマックス（59.5%）を上回ったが、1 クエリあたり平均 1,290 回のメモリアクセスで実現した。
• クラスタリングベースの K-MIPS 手法が、速度と精度のバランスが最も優れており、同じベンチマークで WTA-Hash（40.2%）や PCA-Tree（32.4%）を顕著に上回った。
• Top-K と Sample-K 戦略の組み合わせにより、近似バイアスが低減され、2,000 クラスタで 53.1% の精度を達成した（Sample-K を省いた場合の 50.2% と比較）。
• K-MIPS を用いたモデルは、完全なソフトマックスに比べて収束が速く、検索空間の縮小が学習を妨げず、むしろ最適化の安定性を向上させる可能性を示した。
• Rand-block 戦略は性能向上に寄与せず、効果がなかったことが判明し、クラスタリングベースの K-MIPS における近似バイアス低減にはランダムブロックサンプリングが役立たないことが示された。