[論文レビュー] Adapting Deep Network Features to Capture Psychological Representations

Joshua C. Peterson, Joshua T. Abbott+1 more|arXiv (Cornell University)|Aug 6, 2016

Face Recognition and Perception参考文献 14被引用数 30

ひとこと要約

本論文では、画像類似性のヒトの心理的表象とよりよく一致するように、深層畳み込みニューラルネットワーク（CNN）特徴量を適応させる手法を提案する。人間の類似性判断を用いたElastic Net回帰により事前学習済みVGG16特徴量を再重み付けすることで、人間の類似性判断をほぼ完璧に再構築することができ、人間の知覚に存在する重要な定性的な違いを捉えられていない元のCNN特徴量と比べて顕著な向上を達成する。

ABSTRACT

Deep neural networks have become increasingly successful at solving classic perception problems such as object recognition, semantic segmentation, and scene understanding, often reaching or surpassing human-level accuracy. This success is due in part to the ability of DNNs to learn useful representations of high-dimensional inputs, a problem that humans must also solve. We examine the relationship between the representations learned by these networks and human psychological representations recovered from similarity judgments. We find that deep features learned in service of object classification account for a significant amount of the variance in human similarity judgments for a set of animal images. However, these features do not capture some qualitative distinctions that are a key part of human representations. To remedy this, we develop a method for adapting deep features to align with human similarity judgments, resulting in image representations that can potentially be used to extend the scope of psychological experiments.

研究の動機と目的

• 画像の類似性判断における深層ニューラルネットワーク特徴量の予測性能を調査すること。
• 標準的な深層特徴量がヒトの心理的表象に内在する定性的な違いを捉えられていない点の限界を特定すること。
• 深層特徴量を人間の類似性判断にさらに近づけるための適応手法を開発すること。
• 自然で現実的な刺激を心理的実験に使用できるようにするため、正確で学習可能な画像表現を提供すること。

提案手法

• 人間の類似性判断を教師信号として用い、事前学習済みVGG16活性化値を再重み付けすることで、深層特徴量を微調整する。
• Elastic Net回帰を用いて、人間の類似性をよりよく予測できる正のスパース重みを学習し、特徴量を再重み付ける。
• 再重み付けされた特徴量を用いて、動物画像の集合において人間の類似性判断を再構築する。
• 畳み込み層および全結合層といった異なるネットワーク層における性能を評価し、深さに依存する表現品質を検証する。
• 新しい動物分類データセットを用いて、本手法の汎用性および下流タスクへの影響を検証する。
• 類似性予測および分類タスクにおいて、適応させた特徴量と元のVGG16特徴量の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ネットワーク特徴量は、自然画像の類似性判断をどの程度正確に予測できるか？
• RQ2 標準的な深層特徴量には欠落している、ヒトの心理的表象に内在する定性的な違いとは何か？
• RQ3 単純で解釈可能な変換を用いて、深層特徴量を人間らしい類似性構造をよりよく捉えられるように適応できるか？
• RQ4 適応させた特徴量の性能は、ネットワークの異なる層でどのように変化するか？
• RQ5 適応させた特徴量は、画像分類のような標準的なコンピュータビジョンタスクで、性能を維持または向上させられるか？

主な発見

• VGG16からの元の深層特徴量は人間の類似性判断の分散の有意な割合を説明するが、ヒトの知覚に内在する重要な定性的な違いを捉えられていない。
• 再重み付け特徴量適応手法は、人間の類似性判断を高い精度で再構築でき、人間データとほぼ完璧に一致する。
• 適応させた特徴量の性能は全結合層で最も高く、高レベルの表現がヒトの心理的類似性とよりよく一致していることを示唆している。
• 本手法は、標準的な深層学習の目的関数が捉えられていない類似性データの構造的パターンを捉えることで、元の特徴量を改善している。
• 心理的類似性のモデリングに成功した一方で、標準的な動物分類タスクでは元のVGG16特徴量（R² = 0.94）より性能が劣る（R² = 0.89）ことが判明し、心理的適合性と分類精度のトレードオフが生じていることが示された。
• 結果から、深層特徴量を人間の心理的表象の代理として効果的に適応可能であることが示され、自然な刺激を用いた認知科学分野における新たな応用が可能になる。