[論文レビュー] Learning Efficient Algorithms with Hierarchical Attentive Memory

Marcin Andrychowicz, Karol Kurach|arXiv (Cornell University)|Feb 9, 2016

Topic Modeling参考文献 22被引用数 28

ひとこと要約

この論文は、二分木構造を用いて $Θ(\log n)$ のメモリアクセスを実現する、階層的注意メモリ（HAM）と呼ばれる新しいニューラルメモリアーキテクチャを紹介する。これにより、純粋な入力-出力ペアからの学習によって、ソートや探索といった複雑なアルゴリズムをLSTMが学習可能となる。モデルはトレーニング時に見られなかった長さのシーケンスにも一般化でき、スタックやキューといった古典的データ構造をシミュレートできる。

ABSTRACT

In this paper, we propose and investigate a novel memory architecture for neural networks called Hierarchical Attentive Memory (HAM). It is based on a binary tree with leaves corresponding to memory cells. This allows HAM to perform memory access in O(log n) complexity, which is a significant improvement over the standard attention mechanism that requires O(n) operations, where n is the size of the memory. We show that an LSTM network augmented with HAM can learn algorithms for problems like merging, sorting or binary searching from pure input-output examples. In particular, it learns to sort n numbers in time O(n log n) and generalizes well to input sequences much longer than the ones seen during the training. We also show that HAM can be trained to act like classic data structures: a stack, a FIFO queue and a priority queue.

研究の動機と目的

• ニューラルネットワークにおける標準的なアテンション機構のスケーラビリティの問題に対処すること。これは、メモリアクセスに $Θ(n)$ の計算量を要するため、長文シーケンス処理の応用に制限を受ける。
• メモリサイズに応じて効率的にスケーリングされ、純粋な入力-出力例からのアルゴリズム的行動の学習を可能にするメモリアーキテクチャを設計すること。
• トレーニング時のシーケンス長をはるかに超える長さのシーケンスに対しても一般化できる、ソートや二分探索といった複雑なアルゴリズムの学習と一般化を可能にすること。
• メモリ構造がスタック、FIFOキュー、優先度キューといった古典的データ構造を模倣できることを示すこと。

提案手法

• HAMアーキテクチャは、葉がメモリセルを表し、内部ノードが微分可能結合演算によって情報を集約する二分木を用いる。
• メモリアクセスは、ルートから葉へと木をたどる形で実行され、経路に沿って微分可能なルーティング機構を用いてアテンション確率が計算される。
• モデルは、経路確率を用いてすべての葉の期待活性化を計算するソフトアテンションの変種（DHAM）を採用しており、エンドツーエンドのバックプロパゲーションを可能にする。
• LSTMコントローラは木構造上のアテンションを用いてメモリセルから読み書きを行い、整合性を保つために更新を木の上位ノードへと伝搬させる。
• 階層的構造が内蔵する区間ベースの操作に偏ったバイアスを活用することで、アルゴリズム的タスクの学習が可能になる。
• システムは実行トレースや報酬形状の調整を一切不要としない、教師あり学習により入力-出力ペアで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、純粋な入力-出力ペアからの学習によって、トレーニング時に見られた長さよりも長いシーケンスの数のソートを学習し、一般化できるか？
• RQ2 階層的アテンション機構は、標準的なアテンションと比較して、アルゴリズム的タスクの学習をより高速かつサンプル効率的に可能にするか？
• RQ3 HAMメモリ構造は、スタック、キュー、優先度キューといった古典的データ構造を模倣できるか？
• RQ4 HAMの $Θ(\log n)$ のメモリアクセス複雑度は、$O(n\log n)$ 時間のアルゴリズム（例：ソート）の学習を支えるのに十分か？
• RQ5 微分可能（ソフト）バージョンのHAMは、確率的（ハード）バージョンと比較して、訓練の安定性と一般化性能においてどのように異なるか？

主な発見

• HAMを拡張したLSTMは、$\Theta(n\log n)$ 時間で $n$ 個の数のソートを成功裏に学習し、トレーニング時に見られなかった長さのシーケンスに対しても一般化できた。
• モデルは、トレーニング時に観測された最大長の10倍まで長くても良好に一般化し、強いインダクティブバイアスを示した。
• HAM機構は $\Theta\left(\log n\right)$ のメモリアクセス複雑度を達成しており、標準的なアテンション機構が $Θ(n)$ の操作を要するのと比べて顕著に優れている。
• HAMメモリはスタック、FIFOキュー、優先度キューをシミュレートでき、汎用的メモリアブストラクションとしての多様性を示した。
• 微分可能なソフトバージョン（DHAM）は、確率的バージョンよりも訓練がより安定したが、より大きなメモリサイズへの一般化性能はやや劣った。
• 階層的構造が、マージや二分探索といった効率的アルゴリズムの中心的役割を果たす区間ベースの操作の学習を容易にするインダクティブバイアスを提供した。