[論文レビュー] A Neurally-Inspired Hierarchical Prediction Network for Spatiotemporal Sequence Learning and Prediction

Jielin Qiu, Ge Huang+1 more|arXiv (Cornell University)|Jan 25, 2019

Image Retrieval and Classification Techniques参考文献 43被引用数 6

ひとこと要約

本論文は、分析・合成フレームワークにおける階層的予測を通じて、時空間的系列を学習する神経的インスピレーションを受けて設計された、LSTMに基づく再帰的モデルである階層的予測ネットワーク（HPNet）を提案する。予測誤差を階層の各レベルで最小化することで、HPNetは長距離動画予測において最先端の性能を達成し、予測やなじみの抑制といった神経生理学的現象を再現する。

ABSTRACT

In this paper we developed a hierarchical network model, called Hierarchical Prediction Network (HPNet), to understand how spatiotemporal memories might be learned and encoded in the recurrent circuits in the visual cortical hierarchy for predicting future video frames. This neurally inspired model operates in the analysis-by-synthesis framework. It contains a feed-forward path that computes and encodes spatiotemporal features of successive complexity and a feedback path for the successive levels to project their interpretations to the level below. Within each level, the feed-forward path and the feedback path intersect in a recurrent gated circuit, instantiated in a LSTM module, to generate a prediction or explanation of the incoming signals. The network learns its internal model of the world by minimizing the errors of its prediction of the incoming signals at each level of the hierarchy. We found that hierarchical interaction in the network increases semantic clustering of global movement patterns in the population codes of the units along the hierarchy, even in the earliest module. This facilitates the learning of relationships among movement patterns, yielding state-of-the-art performance in long range video sequence predictions in the benchmark datasets. The network model automatically reproduces a variety of prediction suppression and familiarity suppression neurophysiological phenomena observed in the visual cortex, suggesting that hierarchical prediction might indeed be an important principle for representational learning in the visual cortex.

研究の動機と目的

• 時空間的記憶が視覚皮質階層において予測学習を通じてどのように符号化されるかを理解すること。
• 世界の表現を予測誤差の最小化によって学習する、生物学的に妥当なディープラーニングモデルを開発すること。
• 階層的フィードバックとフィードフォワードの相互作用が、動きのパターンの意味的クラスタリングをどのように向上させるかを調査すること。
• 長距離動画系列予測ベンチマークにおいて、モデルの性能を評価すること。
• モデルが予測抑制やなじみの抑制といった神経生理学的現象を再現するかどうかを特定すること。

提案手法

• HPNetは、複数のレベルからなる階層的アーキテクチャを採用し、各レベルに特徴抽出のためのフィードフォワード経路と上位からの予測のためのフィードバック経路を備える。
• 各レベルは、LSTMに基づく再帰的ゲート回路を用いて、フィードフォワード入力とフィードバック予測を統合した統一された表現を生成する。
• ネットワークは、バックプロパゲーションによる内部重みの調整を通じて、各レベルで予測誤差を最小化し、世界モデルの学習を可能にする。
• フィードバック経路により、高レベルの解釈が低レベルに投影され、文脈的理解と局所的予測の精錬が可能になる。
• モデルは、予測を生成し、入力信号と照合することで内部表現を精錬する分析・合成フレームワークで動作する。
• 空間的・時間的特徴は、複雑さが増すレベルに沿って符号化され、初期モジュールでもすでにグローバルな動きパターンの意味的クラスタリングが観察される。

実験結果

リサーチクエスチョン

• RQ1 階層的再帰ネットワークモデルは、予測誤差の最小化を通じて、複雑な時空間的系列を学習・予測できるか。
• RQ2 階層的フィードバック相互作用は、集団コードにおける動きパターンの意味的クラスタリングをどのように向上させるか。
• RQ3 HPNetは、既存のモデルと比較して、長距離動画系列予測においてどの程度優れているか。
• RQ4 モデルは、予測抑制やなじみの抑制といった神経生理学的現象を再現するか。
• RQ5 階層的構造は、視覚皮質における抽象的表現の出現を説明できるか。

主な発見

• HPNetは、ベンチマークデータセットにおいて、長距離動画系列予測で最先端の性能を達成する。
• 階層的相互作用により、ネットワークの最初のモジュールですでにグローバルな動きパターンの意味的クラスタリングが向上する。
• モデルは自動的に予測抑制となじみの抑制を再現し、視覚皮質における神経生理学的観察と整合する。
• 各レベルの再帰的ゲート回路は、フィードフォワード信号とフィードバック信号を統合して、効果的な予測を生成する。
• 分析・合成フレームワークにより、階層的レベル間での誤差最小化を通じて、効果的な世界モデル学習が可能になる。
• ネットワークの内部表現は、階層の深さとともに、より抽象的で文脈に配慮した特徴を示すようになる。