[論文レビュー] Emergence of foveal image sampling from learning to attend in visual scenes

Brian Cheung, E.E.J. Weiss+1 more|arXiv (Cornell University)|Nov 5, 2016

Neural dynamics and brain function被引用数 4

ひとこと要約

本稿では、視覚探索タスク上でトレーニングされた網膜サンプリング格子を持つ学習可能なニューラル注目モデルを提案する。このモデルは、注視の回数を最小化することを目的としている。トレーニング後、モデルは真正の網膜組織に類似した中心窩部の高分解能領域と周辺部の低分解能サンプリングを自発的に発現する。この現象は、トレーニング条件に応じて変化する特徴を示し、効率的な視覚処理における機能的役割を示唆している。

ABSTRACT

We describe a neural attention model with a learnable retinal sampling lattice. The model is trained on a visual search task requiring the classification of an object embedded in a visual scene amidst background distractors using the smallest number of fixations. We explore the tiling properties that emerge in the model's retinal sampling lattice after training. Specifically, we show that this lattice resembles the eccentricity dependent sampling lattice of the primate retina, with a high resolution region in the fovea surrounded by a low resolution periphery. Furthermore, we find conditions where these emergent properties are amplified or eliminated providing clues to their function.

研究の動機と目的

• 学習可能な注目メカニズムが、エンド・トゥ・エンドの学習からサルの網膜組織に類似した中心窩部の視覚サンプリングをどのように発現するかを調査すること。
• 視覚探索中の注視回数を減らすために、距離依存のサンプリングが果たす機能的役割を理解すること。
• トレーニング条件が中心窩部および周辺部のサンプリングパターンの出現または抑制にどのように影響するかを調査すること。

提案手法

• 注視回数を最小化することを目的として、ターゲットオブジェクトを背景の干渉要因の中から分類する視覚探索タスクで、学習可能な網膜サンプリング格子を備えたニューラルネットワークをトレーニングする。
• モデルは視覚シーン全体のサンプリング位置を選択する微分可能注目メカニズムを使用する。
• 網膜サンプリング格子は空間的に変化する分解能を許容するようにパラメータ化されており、中心窩部で高い分解能が確保される。
• トレーニングは、ターゲットオブジェクトを正しく分類するために必要な注視回数を最小化するように最適化される。
• トレーニング後のモデルのサンプリング格子を分析し、タイリング性と分解能分布を評価する。
• 損失重み付けやトレーニング体制などの条件を操作し、格子構造に与える影響をテストする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な注目メカニズムは、サルの網膜組織に類似した中心窩部のサンプリング格子を自発的に発展させることができるか？
• RQ2 トレーニング制約は、高分解能の中心窩部領域と低分解能の周辺部の出現にどのように影響するか？
• RQ3 自発的に出現する中心窩部サンプリングパターンが視覚探索タスクにおいてどのような機能的利点を提供するか？
• RQ4 どのような条件下で中心窩部格子構造が強化されたり、消失したりするか？

主な発見

• トレーニング済みモデルのサンプリング格子は、サルの網膜に類似した距離依存のサンプリングに近く、高分解能の中心窩部領域が周囲の低分解能領域に取り囲まれた構造を示す。
• 中心窩部サンプリングの出現は、事前に強制されたものではなく、注視回数の最小化という学習目的から内発的に生じる。
• 注視効率を重視する条件では中心窩部構造が強化され、制約が少ない条件ではその構造が弱まるか、完全に消失する。
• モデルは少ない注視回数で高い分類精度を達成しており、自発的に出現したサンプリングパターンの機能的効率性が裏付けられている。
• 格子のタイリング特性は、空間的分解能とサンプリング効率のトレードオフを反映しており、生物学的視覚系と整合的である。
• 結果から、中心窩部サンプリングは、視覚探索における最小限の情報収集を最適化するプロセスの自然な結果である可能性が示唆される。