[論文レビュー] Generative Temporal Models with Memory

Mevlana Gemici, Chia-Chun Hung+6 more|arXiv (Cornell University)|Feb 15, 2017

Topic Modeling参考文献 39被引用数 40

ひとこと要約

本論文は、外部メモリシステムを変分推論に基づく生成的モデルに統合することで、長距離時系列依存性のモデリングを向上させる、メモリを備えた生成的時系列モデル（GTMM）を提案する。微分可能メモリアクセス機構を用いて計算とメモリ保存を分離することで、GTMMはスパarsely分布した長期間依存性を示すタスクにおいて、VRNN や LSTMs といった標準的な RNN よりも、再構成品質および生成品質の両面で最先端の性能を達成する。

ABSTRACT

We consider the general problem of modeling temporal data with long-range dependencies, wherein new observations are fully or partially predictable based on temporally-distant, past observations. A sufficiently powerful temporal model should separate predictable elements of the sequence from unpredictable elements, express uncertainty about those unpredictable elements, and rapidly identify novel elements that may help to predict the future. To create such models, we introduce Generative Temporal Models augmented with external memory systems. They are developed within the variational inference framework, which provides both a practical training methodology and methods to gain insight into the models' operation. We show, on a range of problems with sparse, long-term temporal dependencies, that these models store information from early in a sequence, and reuse this stored information efficiently. This allows them to perform substantially better than existing models based on well-known recurrent neural networks, like LSTMs.

研究の動機と目的

• 固定順序マルコフ仮定と限界的なメモリ容量による制限により、標準的な生成的時系列モデルが長距離依存性を捉えることのできない問題を解決すること。
• 再帰的ネットワークが直面する二重の負担（長期間の情報を保持しつつリアルタイム計算を実行すること）を、メモリ保存と計算の分離によって克服すること。
• 複数のメモリシステムをサポートする一般化された生成的時系列モデルのアーキテクチャを構築し、データ効率、モデリング能力、生成品質のトレードオフを探索すること。
• 外部メモリが、周期的または再帰的な構造を示すタスクにおいて、特に長期予測の一般化性と一貫性を向上させることを実証すること。
• コンテンツベース、LRU、DNC などの異なるメモリアクセスメカニズムが、高次元時系列データにおけるモデリング性能とスケーラビリティに与える影響を調査すること。

提案手法

• 各時刻における潜在変数の事後分布を近似するために、アンモタイズド推論を用いた変分推論フレームワークを設計する。
• NTM、DNC、LRU、イントロスペクティブネットワークなどの外部メモリモジュールを統合し、微分可能アドレス指定機構を用いて潜在状態の格納と取得を行う。
• 隠れ状態が再帰的ダイナミクスとメモリの読み書き操作の両方に基づいて更新される、メモリ拡張型RNNアーキテクチャを採用する。
• 変換された潜在変数または潜在状態そのものを格納するメモリライト操作を実装し、予測情報の長期的保持を可能にする。
• 推論および学習中に関連するメモリ領域への動的アクセスを可能にするために、微分可能なアテンション機構を適用する。
• 変分下界（ELBO）を用いてエンドツーエンドでモデルを学習し、再構成と正則化の両項を最適化することで、精度と一般化のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 外部メモリシステムは、標準的なRNNと比較して、時系列データにおける長距離時系列依存性のモデリングを顕著に改善できるか？
• RQ2 コンテンツベース、LRU、DNC などの異なるメモリアクセスメカニズムは、データ効率、生成品質、モデルスケーラビリティにどのように影響を与えるか？
• RQ3 潜在変数をメモリに格納することで、たとえば完全な回転サイクル後の予測のような、長期予測タスクにおける一般化性と一貫性が向上するか？
• RQ4 変分推論フレームワークは、メモリ拡張型生成的モデルにおいて、安定した学習と意味のある解釈可能性をサポートできるか？
• RQ5 メモリ拡張型モデルは、周期的または再帰的な構造を示す長期間にわたるシーケンスの補間を要するタスクにおいて、標準的なVRNN やLSTM を上回る性能を発揮できるか？

主な発見

• DNC-GTMM およびイントロスペクティブ-GTMM は、シーケンスの繰り返し時点でのKullback-Leibler発散が顕著に低減しており、効果的なメモリ利用と安定した長期予測を示している。
• GTMM、特にDNCおよびイントロスペクティブ-GTMM からの生成サンプルは、30ステップのインプレイス回転全体にわたり視覚的整合性を保ち続け、壁面の装飾やスカイラインの特徴を維持していた。これに対してVRNNは一貫性を失っていた。
• VRNNは最小の変分下界を示したが、生成品質は低く、再帰的ダイナミクスに依存するのみで明示的なメモリを持たないことの限界を示している。
• 外部メモリシステムを備えたモデルは、たとえば回転カメラの視点から得られるパノラマシーンの再構築のような、スパarsely分布した長期間依存性を示すタスクで優れた性能を発揮した。
• 潜在変数を直接メモリに格納するイントロスペクティブ-GTMMアーキテクチャは優れた性能を示し、直接格納とコンテンツベースアドレス指定を組み合わせたハイブリッドモデルの可能性を示唆している。
• 結果から、メモリ拡張型モデルは従来のフィルタリング・スムージングの区別を曇らせるものであり、上書きメカニズムにより過去の潜在状態を将来に修正可能であることが示唆された。