[論文レビュー] Visual Search Asymmetry: Deep Nets and Humans Share Similar Inherent Biases

Shashi Kant Gupta, Mengmi Zhang+3 more|arXiv (Cornell University)|Jun 5, 2021

Visual perception and processing mechanisms被引用数 8

ひとこと要約

本稿では、eccNETと呼ばれる計算モデルを提案する。このモデルは、視覚的探索の非対称性——つまり、ターゲットAをノイズBのなかから探すのが、逆にBをAのなかから探すのよりも容易であるという現象——を説明するため、eccentricity依存の視覚処理とトップダウン的注意を統合したものである。タスク特化的な訓練を施さずに、モデルは人間の探索非対称性のパターンを再現し、これらのバイアスがImageNetの統計的性質に起因しており、タスクそのものの明示的学習によるものではないことを示している。

ABSTRACT

Visual search is a ubiquitous and often challenging daily task, exemplified by looking for the car keys at home or a friend in a crowd. An intriguing property of some classical search tasks is an asymmetry such that finding a target A among distractors B can be easier than finding B among A. To elucidate the mechanisms responsible for asymmetry in visual search, we propose a computational model that takes a target and a search image as inputs and produces a sequence of eye movements until the target is found. The model integrates eccentricity-dependent visual recognition with target-dependent top-down cues. We compared the model against human behavior in six paradigmatic search tasks that show asymmetry in humans. Without prior exposure to the stimuli or task-specific training, the model provides a plausible mechanism for search asymmetry. We hypothesized that the polarity of search asymmetry arises from experience with the natural environment. We tested this hypothesis by training the model on augmented versions of ImageNet where the biases of natural images were either removed or reversed. The polarity of search asymmetry disappeared or was altered depending on the training protocol. This study highlights how classical perceptual properties can emerge in neural network models, without the need for task-specific training, but rather as a consequence of the statistical properties of the developmental diet fed to the model. All source code and data are publicly available at https://github.com/kreimanlab/VisualSearchAsymmetry.

研究の動機と目的

• 視覚的探索の非対称性——つまり、ターゲットとノイズの種別によって探索効率が異なる現象——の神経的および計算的メカニズムを理解すること。
• 深層ニューラルネットワークが、タスク特化的なファインチューニングなしに、人間の行動と類似する形で自発的に探索非対称性を示すかどうかを調査すること。
• 探索非対称性の極性が、アーキテクチャの設計そのものではなく、トレーニングデータ（例：ImageNet）の統計的規則性に起因するかどうかを検証すること。
• 生物学的にインspiredな計算フレームワークを用いて、人間の視覚的探索における心理物理学的知見と、ディープラーニングモデルにおける出現するバイアスを橋渡しすること。

提案手法

• 本モデル、eccNETは、霊長類の中心視と周辺視処理を模倣するため、eccentricity依存のプーリング層を備えたVGG16ベースのバックボーンを用いる。
• トップダウン的注意を実装するため、ターゲット特徴を記憶し、探索画像内の活性化を調整することで、逐次的なアイムーブメントを誘導する。
• アイムーブメントのシーケンスは、トップダウン的注意とボトムアップ特徴を組み合わせたサリエンシーマップに基づき、逐次的に次回の注視位置を選択することで生成される。
• モデルはImageNetで物体分類のため事前学習された後、タスク特化的なファインチューニングなしに、6つの古典的視覚的探索非対称性タスクでテストされる。
• トレーニングデータの統計的性質の役割を検証するため、回転させた画像（例：90°回転）を含む拡張されたImageNetで再トレーニングする。
• 性能評価は、累積的探索正答率、人間データとのスキャンパス類似度、セットサイズの関数としての反応時間によって行われる。

実験結果

リサーチクエスチョン

• RQ1 タスク特化的な訓練なしに、深層ニューラルネットワークモデルが人間の視覚的探索非対称性を再現できるか？
• RQ2 探索非対称性の極性が、オブジェクトの方向性やレイアウトなどのトレーニングデータの統計的性質に依存するか？
• RQ3 事前学習データにおけるインダクティブバイアスが、探索非対称性のような複雑な視覚的行動に、どの程度影響を及ぼすか？
• RQ4 トップダウン的注意とeccentricity依存処理が、人間および人工ネットワークの両方において、効率的な視覚的探索にどのように寄与するか？

主な発見

• eccNETモデルは、タスク特化的なファインチューニングなしに、6つの心理物理学的実験で人間の探索非対称性を自発的に再現し、人間のパフォーマンスの極性と一致した。
• 90°回転させたImageNetで学習させた場合、モデルの探索非対称性の極性は反転するか、消失し、トレーニングデータの統計的性質がバイアスを支配していることを示した。
• モデルの累積的探索パフォーマンスと人間観察者とのスキャンパス類似度は、特にオブジェクトアレイおよび自然画像探索タスクにおいて、最新のモデル（例：IVSN）と同等の水準であった。
• ボトムアップのサリエンシーマップの導入により、モデルの注視位置シーケンス予測能力が向上したが、根本的な非対称性はトップダウン的処理とeccentricity依存処理に起因していた。
• トップダウン的注意マップは、モデルがターゲットと整合する特徴を優先し、複雑なノイズアレイの中でもターゲット付近で最大の活性化を示していることを示した。
• モデルの反応時間は、セットサイズの増加に伴い人間のデータと整合する傾向を示し、行動の代理指標としての妥当性を裏付けた。