[論文レビュー] Tree Memory Networks for Modelling Long-term Temporal Dependencies

Tharindu Fernando, Simon Denman+3 more|arXiv (Cornell University)|Mar 12, 2017

Human Pose and Action Recognition参考文献 43被引用数 9

ひとこと要約

本稿では、順序付き記憶の代わりに階層的な木構造を用いることで、系列変換タスクにおける長期的・短期的時間的依存関係をモデル化する新しい記憶アーキテクチャ、Tree Memory Networks (TMN) を提案する。この手法は、再帰的な記憶構造により、最近の文脈と長期的パターンの両方を効果的に捉えることで、航空機および歩行者軌道予測において最先端のモデルを上回る性能を発揮する。

ABSTRACT

In the domain of sequence modelling, Recurrent Neural Networks (RNN) have been capable of achieving impressive results in a variety of application areas including visual question answering, part-of-speech tagging and machine translation. However this success in modelling short term dependencies has not successfully transitioned to application areas such as trajectory prediction, which require capturing both short term and long term relationships. In this paper, we propose a Tree Memory Network (TMN) for modelling long term and short term relationships in sequence-to-sequence mapping problems. The proposed network architecture is composed of an input module, controller and a memory module. In contrast to related literature, which models the memory as a sequence of historical states, we model the memory as a recursive tree structure. This structure more effectively captures temporal dependencies across both short term and long term sequences using its hierarchical structure. We demonstrate the effectiveness and flexibility of the proposed TMN in two practical problems, aircraft trajectory modelling and pedestrian trajectory modelling in a surveillance setting, and in both cases we outperform the current state-of-the-art. Furthermore, we perform an in depth analysis on the evolution of the memory module content over time and provide visual evidence on how the proposed TMN is able to map both long term and short term relationships efficiently via a hierarchical structure.

研究の動機と目的

• 系列学習における長期的時間的依存関係をモデル化する課題に取り組むこと、特に歴史的パターンの記憶を要するタスクにおいて。
• RNN や LSTM における順序付き記憶の限界を克服すること。これらは勾配消失のため長期的関係を無視しやすく、短期的要因が優勢になりがちである。
• 系列データにおける短期的ダイナミクスと長期的構造的パターンの両方を効率的に捉える記憶アーキテクチャを設計すること。
• 提案されたアーキテクチャの汎用性と有効性を、現実世界の軌道予測タスクにおいて実証すること。
• 記憶の進化を視覚的および定量的に分析し、階層的構造が最近の入力と歴史的入力の両方を強固に表現可能であることを示すこと。

提案手法

• TMN アーキテクチャは、入力モジュール、コントローラ、および順序付き記憶ではなく再帰的な木構造を持つ記憶モジュールの3つの部品から構成される。
• 記憶モジュールは、歴史的状態を木の階層に格納することで、複数の時間スケールにわたる長期的依存関係の効率的な取得と集約を可能にする。
• 各時刻で、現在の入力と直前の記憶状態を関数として出力を計算する。この際、木構造の記憶ノードに対して微分可能なアテンション機構を用いる。
• 木構造により、上位のノードが抽象的で長期的なパターンを表し、下位のノードが短期的ダイナミクスを捉えることが可能となり、時間的関係の統合的モデリングが可能になる。
• コントローラは、入力の関連性に基づいて記憶ノードを動的に選択・更新し、ゲーティング機構を用いて木全体を通じた情報フローを制御する。
• モデルは、軌道予測などの系列変換タスクに特化した損失関数を用いて、バックプロパゲーションを用いたエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 木構造の記憶モジュールは、系列データにおける長期的依存関係のモデリングにおいて、順序付き記憶を上回ることができるか？
• RQ2 記憶の階層的組織化は、短期的および長期的時間的パターンの両方のより良い表現をどのように可能にするか？
• RQ3 提案された TMN モデルは、時間的ダイナミクスが異なるさまざまな系列変換タスクにどの程度一般化可能か？
• RQ4 記憶活性化は時間経過とともにどのように変化するか？また、それらは意味的な長期的パターンを反映していると解釈できるか？
• RQ5 木構造の記憶は、最近の文脈への依存を軽減するか？これにより、繰り返しや周期的プロセスにおいて予測のロバスト性が向上するか？

主な発見

• TMN モデルは、航空機軌道予測において最先端の性能を達成し、精度と長期予測性能の両面で既存手法を上回る。
• グランド・セントラルデータセットにおける歩行者軌道予測では、TMN はベースラインモデルと比較して予測誤差を顕著に低減しており、特に繰り返しの流れパターンが関与する状況で顕著である。
• 視覚的分析から、木構造の上位レベルでの記憶活性化は、最近の履歴ではなく、入力パターンによって駆動されていることが示され、長期記憶の有効な保持が裏付けられる。
• 標準的な LSTM ベースの記憶モデルとは異なり、TMN は最近の履歴が異なる場合でも、類似した入力パターンに対して一貫した活性化を維持しており、短期的ノイズに対してロバストであることが示された。
• 記憶モジュールは、繰り返しイベント（例：列車の到着）において構造的類似性を保持するように進化しており、周期的および長期的依存関係の捕捉能力を確認した。
• モデルの階層的設計により、意味的で解釈可能なスパarsな記憶表現が得られ、直近の文脈と歴史的文脈の両方を反映し、一般化性能の向上が図られた。