[論文レビュー] How Deep is the Feature Analysis underlying Rapid Visual Categorization?

Sven Eberhardt, Jonah Cader+1 more|arXiv (Cornell University)|Jun 3, 2016

Face Recognition and Perception参考文献 16被引用数 17

ひとこと要約

本研究は、動物対非動物の分類タスクにおいて、深層ニューラルネットワークの活性化と人間の行動反応を比較することで、迅速な人間のカテゴライゼーションにおける視覚特徴処理の深さを調査した。その結果、人間の意思決定は深層ネットワークの中間レベルの特徴と最も相関が高く、人間は中程度の複雑さの表現を用いていると考えられるが、より深い層では人間の性能を上回るが、意思決定のパターンが乖離することが分かった。

ABSTRACT

Rapid categorization paradigms have a long history in experimental psychology: Characterized by short presentation times and speedy behavioral responses, these tasks highlight the efficiency with which our visual system processes natural object categories. Previous studies have shown that feed-forward hierarchical models of the visual cortex provide a good fit to human visual decisions. At the same time, recent work in computer vision has demonstrated significant gains in object recognition accuracy with increasingly deep hierarchical architectures. But it is unclear how well these models account for human visual decisions and what they may reveal about the underlying brain processes. We have conducted a large-scale psychophysics study to assess the correlation between computational models and human participants on a rapid animal vs. non-animal categorization task. We considered visual representations of varying complexity by analyzing the output of different stages of processing in three state-of-the-art deep networks. We found that recognition accuracy increases with higher stages of visual processing (higher level stages indeed outperforming human participants on the same task) but that human decisions agree best with predictions from intermediate stages. Overall, these results suggest that human participants may rely on visual features of intermediate complexity and that the complexity of visual representations afforded by modern deep network models may exceed those used by human participants during rapid categorization.

研究の動機と目的

• 迅速な人間の視覚的カテゴライゼーションの背後にある視覚的特徴分析の深さを特定すること。
• 物体認識において人間を上回る現代の深層ニューラルネットワークが、迅速なカテゴライゼーションにおける人間の意思決定を的確にモデル化しているかどうかを評価すること。
• 人間の意思決定が計算モデルの予測と最も一致する視覚処理の段階を同定すること。
• ネットワークの深さが増すことで、人間の行動をよりよくモデル化するのか、それとも人間の戦略から逸脱するのかを調査すること。

提案手法

• 2,100枚のバランスの取れた動物および非動物の画像を用いて、Amazon Mechanical Turkで281名の参加者を対象に大規模な心理物理学実験を実施した。
• ImageNetで訓練された3つの最先端の深層ネットワーク（AlexNet、VGG16、VGG19）を用い、特徴抽出に使用した。
• すべてのネットワークの個々の層から得られた活性化応答を抽出・分析し、認識精度と人間・モデルの一致度を評価した。
• 各層におけるモデルの予測と人間の反応の相関を測定し、中間処理段階と深層処理段階の両方を焦点にした。
• 反応時間（500ms、1000ms、2000ms）を変化させた制御実験を実施し、時間の影響が人間・モデルの一致度に与える影響をテストした。
• 一元配置分散分析（one-way ANOVA）とテューキーのHSD法を用いて、時間条件ごとの分類精度の差を評価した。

実験結果

リサーチクエスチョン

• RQ1 迅速なカテゴライゼーションタスクにおける人間の意思決定が、深層ニューラルネットワークの予測と最も一致するのは、視覚処理のどの段階か？
• RQ2 現代の深層ネットワークの深さが増すことで、人間の迅速なカテゴライゼーション行動をモデル化する能力が向上するのか、それとも人間の戦略から逸脱するのか？
• RQ3 反応時間の変化が、異なるネットワーク層における人間の意思決定とモデル予測の相関にどのように影響するか？
• RQ4 特定の画像タイプでは、深層ネットワークが人間を上回るか、逆に人間を下回る場合があり、その違いを引き起こす視覚的特徴は何か？

主な発見

• すべてのモデルにおいて、深層ネットワーク層の認識精度は深さに伴い単調に向上し、最も深い層が同じタスクで人間参加者を上回った。
• 人間の意思決定は中間層（特にVGG16のconv5_2層付近）でモデル予測と最大の相関を示し、その後、一致度は低下した。
• 人間とモデルの意思決定のピーク相関は、処理段階が約10段目で発生し、内側視覚ストリームの段階数と一致した。
• より深い層では認識精度は高かったが、人間の反応と一致度が低く、特に細長い動物（例：ヘビ）、 camouflage された動物、および非典型な物体の文脈で顕著だった。
• 人間は、顕著で正面を向いたイラスト（例：カメラに向かって向かって撮影されたネコ）において、深層ネットワークを上回った。これは、高次の、なじみのある視覚的構成に依存していることを示唆している。
• 反応時間を500msから1000msに延長すると、人間の正確性が著しく向上（74%から84%に）、2000msではさらなる向上はなく、時間条件の変化に関わらず人間・モデルの一致度のパターンは安定していた。