[論文レビュー] Focus of Attention Improves Information Transfer in Visual Features

Matteo Tiezzi, Stefano Melacci+3 more|arXiv (Cornell University)|Jun 16, 2020

Visual Attention and Saliency Detection参考文献 30被引用数 4

ひとこと要約

本論文は、視覚ストリームにおける相互情報量（MI）を最大化するために、人間らしい注目集中メカニズムと2階微分方程式を統合した新しいオンライン学習フレームワークを提案する。注目駆動の軌道を通じて入力データをフィルタリングすることで、均一またはランダムなサンプリングと比較して、特に注目領域において顕著に高い情報伝達が達成される。これは、注目誘導型学習がリアルタイムの視覚処理におけるMI推定を向上させることを示している。

ABSTRACT

Unsupervised learning from continuous visual streams is a challenging problem that cannot be naturally and efficiently managed in the classic batch-mode setting of computation. The information stream must be carefully processed accordingly to an appropriate spatio-temporal distribution of the visual data, while most approaches of learning commonly assume uniform probability density. In this paper we focus on unsupervised learning for transferring visual information in a truly online setting by using a computational model that is inspired to the principle of least action in physics. The maximization of the mutual information is carried out by a temporal process which yields online estimation of the entropy terms. The model, which is based on second-order differential equations, maximizes the information transfer from the input to a discrete space of symbols related to the visual features of the input, whose computation is supported by hidden neurons. In order to better structure the input probability distribution, we use a human-like focus of attention model that, coherently with the information maximization model, is also based on second-order differential equations. We provide experimental results to support the theory by showing that the spatio-temporal filtering induced by the focus of attention allows the system to globally transfer more information from the input stream over the focused areas and, in some contexts, over the whole frames with respect to the unfiltered case that yields uniform probability distributions.

研究の動機と目的

• バッチ処理が不十分な連続的視覚ストリームからの教師なしオンライン学習の課題に対処すること。
• 時間的ダイナミクスの下で、リアルタイムでの情報伝達を相互情報量最大化を用いてモデル化すること。
• 人の注目メカニズム（注目度と運動）によって駆動されるものとして、視覚学習における情報伝達効率の向上を調査すること。
• オンラインMI最大化におけるエントロピー推定に用いる異なる時間的基準（PLA、AVG、VAR）を評価すること。
• MI増加の観点から、注目誘導型学習と均一およびランダムなサンプリングの影響を比較すること。

提案手法

• フレームワークは、物理学における最小作用の原理を想起させ、注目集中と学習ダイナミクスの両方を2階微分方程式でモデル化する。
• 注目集中は重力場内の質量分布としてモデル化され、運動および視覚的特徴が入力フレーム上の注目軌道を決定する。
• 入力視覚的特徴と出力記号表現との間の相互情報量（MI）を、時間的推定によるエントロピー項を用いてオンラインで最大化する。
• 隠れニューロンを備えたニューラルアーキテクチャを採用し、視覚的特徴を離散的記号にマッピングする。学習は注目軌道によって駆動される。
• 時間的局所性基準として、PLA（時間的局所性）、AVG（移動平均）、VAR（分散に基づく）の3つの基準を用い、時間的経過に伴うエントロピーの変化を近似する。
• モデルはFOA（注目集中）軌道を用いて訓練され、均一（UNI）およびランダムスキャンパス（Rnd）のサンプリング戦略と比較される。

実験結果

リサーチクエスチョン

• RQ1 人間らしい注目集中メカニズムを用いることで、均一またはランダムなサンプリングと比較して、オンライン視覚学習における情報伝達が向上するか？
• RQ2 異なる時間的推定戦略（PLA、AVG、VAR）は、オンライン学習中のMIの安定性および増加にどのように影響するか？
• RQ3 注目誘導型学習は、フレーム全体と比較して、注目領域におけるMIをどの程度向上させるか？
• RQ4 2階微分モデルは、統一されたフレームワーク内で注目ダイナミクスと学習ダイナミクスの両方を効果的に捉えられるか？
• RQ5 観察されたMIの増加は、注目モデルそのものに起因するのか、それとも単に入力次元の低減に起因するのか？

主な発見

• FOA（注目集中）軌道は、均一（UNI）およびランダム（Rnd）サンプリングと比較して、常に高い相互情報量（MI）を達成する。特にCarparkおよびSparseMNISTデータセットで顕著である。
• Carparkデータセットでは、アーキテクチャDを用いたFOA軌道でMIが0.675に達し、UNIベースラインの0.422およびRndベースラインの0.489を顕著に上回った。
• SparseMNISTデータセットでは、FOAベースのモデルがアーキテクチャD（AVG基準）でMI 0.486を達成し、UNIベースラインの0.112およびRndベースラインの0.209を上回った。
• VAR（分散に基づく）時間的基準は、PLAおよびAVGと比較して、より速い収束とより安定したMI推定をもたらした。一方、PLAおよびAVGは初期段階でフラクチュエートを示した。
• 一部の設定、特にアーキテクチャDを用いたCarparkデータセットでは、FOA軌道がUNI分布を上回るMIを達成した。これは、注目フィルタリングが全体的な情報伝達を強化することを示している。
• 学習ダイナミクスの観察では、MIが時間の経過とともに安定化し、特にFOA軌道を用いた場合、ストリームの処理量が増えるにつれてフラクチュエートが減少した。