[論文レビュー] Predictive Encoding of Contextual Relationships for Perceptual Inference, Interpolation and Prediction

M. Zhao, Chengxu Zhuang+2 more|arXiv (Cornell University)|Nov 14, 2014

Neural dynamics and brain function参考文献 25被引用数 3

ひとこと要約

本論文は、空間的・時間的文脈的関係を学習することで、画像系列における知覚推論、補間、予測を向上させる神経的インスピレーションを受けて設計された予測符号化モデルを提案する。予測誤差を用いて隠れ文脈的表現を更新するが、順方向入力を変更しないことで、双方向推論を可能にし、ゲート付きボルツマンマシン（GBM）よりも予測性能に優れ、欠落したフレームの補間を独自にサポートする。

ABSTRACT

We propose a new neurally-inspired model that can learn to encode the global relationship context of visual events across time and space and to use the contextual information to modulate the analysis by synthesis process in a predictive coding framework. The model learns latent contextual representations by maximizing the predictability of visual events based on local and global contextual information through both top-down and bottom-up processes. In contrast to standard predictive coding models, the prediction error in this model is used to update the contextual representation but does not alter the feedforward input for the next layer, and is thus more consistent with neurophysiological observations. We establish the computational feasibility of this model by demonstrating its ability in several aspects. We show that our model can outperform state-of-art performances of gated Boltzmann machines (GBM) in estimation of contextual information. Our model can also interpolate missing events or predict future events in image sequences while simultaneously estimating contextual information. We show it achieves state-of-art performances in terms of prediction accuracy in a variety of tasks and possesses the ability to interpolate missing frames, a function that is lacking in GBM.

研究の動機と目的

• 視覚的系列における空間的・時間的文脈的関係を学習する生物学的妥当なモデルの開発。
• 標準的な予測符号化とゲート付きボルツマンマシン（GBM）が欠落したフレームの補間に対応できないという限界を克服すること。
• 統一されたフレームワークを用いて、文脈的情報の同時推定と予測・再構成の生成を可能にすること。
• 学習された隠れ文脈的表現による画像合成の調節を通じて、推論と予測の精度を向上させること。
• 予測誤差を用いて文脈的表現を更新するが、順方向入力を置き換えないことで、生物学的妥当性を高めることの有効性を示すこと。

提案手法

• トップダウンのフィードバックが予測を生成し、ボトムアップの誤差信号が文脈的表現を更新する予測符号化フレームワークを採用する。
• トップダウンおよびボトムアップのプロセスを用いて視覚的出来事の予測可能性を最大化することで、隠れ文脈的表現を学習する。
• 予測誤差は文脈的表現の更新にのみ使用され、次の層への順方向入力を変更しないことで、生物学的妥当性を向上させる。
• GBMが要求するN方向乗算的相互作用や神経同期を回避するため、順方向パスに空間的・時間的フィルタリングを適用する。
• 文脈的モジュレーションにより、画像合成時に基本関数をスケーリングし、適応的予測と再構成を可能にする。
• 合成されたと観測された画像系列間の予測誤差を最小化することで、エンド・トゥ・エンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 予測符号化モデルは、空間的・時間的文脈的関係を学習・活用することで、知覚的推論と予測を向上させることができるか？
• RQ2 本モデルは、標準的なGBMモデルが持たない能力として、画像系列における欠落したフレームの補間を実行できるか？
• RQ3 予測誤差を用いて文脈的表現の更新のみを行う（順方向入力を変更しない）アプローチは、標準的な予測符号化よりも生物学的妥当性が高いとされるか？
• RQ4 本モデルの予測および補間性能は、ゲート付きボルツマンマシンなどの最先端モデルと比較してどのように評価されるか？
• RQ5 本モデルは、大規模な学習を必要とせず、NORBデータセットのような限られたデータを有する系列に対しても一般化可能か？

主な発見

• 本モデルは、テストされた画像系列において、状態を凌駕する予測精度を達成し、ゲート付きボルツマンマシン（GBM）をわずかに上回る。
• 本モデルは、GBMが2フレーム変換に依存するため持てない能力として、系列における欠落したフレームの補間を独自にサポートする。
• 表4.3の定量的結果から、NORBデータセットにおける予測および補間の平均二乗誤差（RMSE）がGBMおよびGAEと同等または優れている。
• 予測誤差を用いて文脈的表現の更新のみを行う（順方向入力を置き換えない）アプローチは、標準的な予測符号化と比較して神経生理学的観察とより整合性がある。
• 四分位位相関係でフィルタを訓練することで時間分解能が向上し、図6に示すように妥当な補間結果が得られた。
• 本モデルは、学習された隠れ変数による文脈的モジュレーションが、単なる再構成を越えて、視覚的知覚の生成的および構築的側面を効果的に支援できることを示した。