[論文レビュー] A Biologically Inspired Visual Working Memory for Deep Networks

Ethan Harris, Mahesan Niranjan+1 more|arXiv (Cornell University)|Jan 9, 2019

Visual Attention and Saliency Detection参考文献 35被引用数 4

ひとこと要約

本稿では、変換的注意を介して潜在表現を格納・更新するヘブ＝ローゼンブレット記憶メカニズムを用いる、生物学的にインspiredな視覚作業記憶モジュールであるSTAWM（Short Term Attentive Working Memory）を提案する。モデルはMNISTおよびCIFAR-10で競争力ある分類精度を達成し、分離可能な部品ベースの表現を用いた非教師あり画像再構成を可能にするとともに、モデルの推論を明らかにする解釈可能なビジュアルスケッチパッドを提供する。

ABSTRACT

The ability to look multiple times through a series of pose-adjusted glimpses is fundamental to human vision. This critical faculty allows us to understand highly complex visual scenes. Short term memory plays an integral role in aggregating the information obtained from these glimpses and informing our interpretation of the scene. Computational models have attempted to address glimpsing and visual attention but have failed to incorporate the notion of memory. We introduce a novel, biologically inspired visual working memory architecture that we term the Hebb-Rosenblatt memory. We subsequently introduce a fully differentiable Short Term Attentive Working Memory model (STAWM) which uses transformational attention to learn a memory over each image it sees. The state of our Hebb-Rosenblatt memory is embedded in STAWM as the weights space of a layer. By projecting different queries through this layer we can obtain goal-oriented latent representations for tasks including classification and visual reconstruction. Our model obtains highly competitive classification performance on MNIST and CIFAR-10. As demonstrated through the CelebA dataset, to perform reconstruction the model learns to make a sequence of updates to a canvas which constitute a parts-based representation. Classification with the self supervised representation obtained from MNIST is shown to be in line with the state of the art models (none of which use a visual attention mechanism). Finally, we show that STAWM can be trained under the dual constraints of classification and reconstruction to provide an interpretable visual sketchpad which helps open the 'black-box' of deep learning.

研究の動機と目的

• 深層ネットワークに短期記憶と視覚的注意を統合する生物学的にインspiredな視覚作業記憶を開発すること。
• 逐次的なグリムプスと記憶の更新を通じて、深層ネットワークが分離可能で部品ベースの表現を学習できるようにすること。
• モデルが「何を見ているか」および「なぜその予測を行うか」を明らかにする解釈可能なビジュアルスケッチパッドを生成すること。
• 記憶強化型注意が効率性を超えて性能を向上させることを示し、注意のみでは達成できない機能を可能にすること。
• 共有の記憶表現の下で分類と再構成の二重タスク学習を探索すること。

提案手法

• ヘブ＝ローゼンブレット記憶は、ニューラルネットワーク層の重み空間として実装され、シナプス可塑性はヘブ学習則によってモデル化される。
• 変換的注意を用いて逐次的なグリムプスを生成し、各グリムプスは空間的変換を経てポーズの変動をモデル化する。
• バックプロパゲーションが記憶状態を通過できるように、微分可能で記憶更新メカニズムを採用し、エンドツーエンドの学習を可能にする。
• 各グリムプスで明示的な注意マスクを生成するためにベルヌーイサンプリング手法を適用し、非教師あり再構成とセグメンテーションを可能にする。
• 分類と再構成の両方を同時に最適化するため、スケーリングされた損失を合算し、タスク間で共有される記憶表現を可能にする。
• 画像再構成のキャンバスは段階的に更新され、各グリムプスが完全な画像への潜在表現の精錬を図る。

実験結果

リサーチクエスチョン

• RQ1 生物学的にインspiredな視覚作業記憶は、注意の効率性を超えて深層ネットワークの性能を向上させることができるか？
• RQ2 記憶メカニズムにより、画像再構成における前景と背景の非教師あり分離が可能になるか？
• RQ3 記憶表現を用いて、モデルの推論を反映する解釈可能なビジュアルスケッチを生成できるか？
• RQ4 分類と再構成の共同学習は、より良い一般化性能とより強固な表現をもたらすか？
• RQ5 グリムプスによる潜在キャンバスの逐次的更新は、人間の視覚処理をどのように反映するか？

主な発見

• STAWMモデルは、分類と再構成の共同学習を経て、MNISTで1.0%のテスト分類誤差を達成し、優れた性能を示した。
• CIFAR-10では、競争力ある分類精度を達成し、以前の注意のみのモデルを顕著に上回った。
• CelebAにおける非教師あり画像再構成において、モデルは顔の顕著な特徴を最初に描画し、顔と背景を分離する部品ベースの表現を学習した。
• 最後のグリムプスからの最終的な注意マスクを正例画像と乗算することで、学習されたサリエンシーが明らかになり、非教師ありセグメンテーションの能力を示した。
• 誤分類例では、描画されたキャンバスが真のターゲットよりも予測クラスに類似していることが多く、スケッチパッドがモデルの内部推論を反映していることを示した。
• モデルが記憶層を介して異なるクエリを投影できる能力により、分類・再構成といった複数のタスクを、共有で解釈可能な潜在空間を用いて実現できた。