[論文レビュー] Modeling Human Categorization of Natural Images Using Deep Feature Representations

Ruairidh M. Battleday, Joshua C. Peterson+1 more|arXiv (Cornell University)|Nov 1, 2017

Face Recognition and Perception被引用数 1

ひとこと要約

この論文は、自然画像の人的分類をモデル化するために深層畳み込みニューラルネットワーク（CNN）特徴量を用いることを提案し、CNNから得られる表現が人的判断を高い精度で予測できることを示している。この特徴量に基づくエクземプラおよびプロトタイプモデルの両方が優れた性能を示しており、従来のモデルを上回っており、人的類似性判断に合わせて事前処理を施すことで性能が向上している。

ABSTRACT

Over the last few decades, psychologists have developed sophisticated formal models of human categorization using simple artificial stimuli. In this paper, we use modern machine learning methods to extend this work into the realm of naturalistic stimuli, enabling human categorization to be studied over the complex visual domain in which it evolved and developed. We show that representations derived from a convolutional neural network can be used to model behavior over a database of >300,000 human natural image classifications, and find that a group of models based on these representations perform well, near the reliability of human judgments. Interestingly, this group includes both exemplar and prototype models, contrasting with the dominance of exemplar models in previous work. We are able to improve the performance of the remaining models by preprocessing neural network representations to more closely capture human similarity judgments.

研究の動機と目的

• 人工的刺激から複雑な自然画像への人的分類の形式的モデルを拡張すること。
• 深層ニューラルネットワーク表現が人的視覚的分類行動を効果的にモデル化できるかどうかを評価すること。
• エクzemプラモデルとプロトタイプモデルのどちらが深層特徴量に基づいて人的判断をよりよく予測するかを調査すること。
• 人的類似性判断に合わせてCNN特徴量を事前処理することで、モデルの性能を向上させること。

提案手法

• 30万件を超える自然画像の人的分類を含む大規模データセットを用いた。
• 事前学習済みの畳み込みニューラルネットワーク（CNN）から深層特徴表現を抽出した。
• CNN特徴量を入力として用い、エクzemプラベースおよびプロトタイプベースのモデルを訓練した。
• 人的知覚的類似性をよりよく反映するように、CNN特徴量に事前処理を施した。
• モデルの性能を人的信頼性ベンチマークと比較して評価した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク特徴量は、自然画像の人間分類を効果的にモデル化できるか？
• RQ2 エクzemプラモデルとプロトタイプモデルのどちらが深層特徴量に基づいて人的分類行動をよりよく予測するか？
• RQ3 CNN特徴量の事前処理は、人的判断の予測におけるモデル性能を向上させられるか？
• RQ4 これらの深層特徴量ベースのモデルは、人的信頼性と比較して、分類タスクでどのように異なるか？

主な発見

• 深層CNN特徴量に基づくモデルは、大規模な自然画像分類データセットにおいて人的判断の信頼性に近い性能を達成した。
• 深層特徴量に基づくエクzemプラおよびプロトタイプモデルの両方が優れた性能を示し、分類研究において従来のエクzemプラモデルの優位性に挑戦した。
• CNN表現の事前処理は、モデルの性能を顕著に向上させ、人的類似性判断にさらに近づけることができた。
• 結果から、深層特徴量は生態的妥当で複雑な視覚的領域における人的視覚的分類のモデル化に強力で柔軟な基盤であることが示された。