[論文レビュー] Towards robust vision by multi-task learning on monkey visual cortex

Shahd Safarani, Arne Nix+6 more|arXiv (Cornell University)|Jul 29, 2021

Visual Attention and Saliency Detection参考文献 37被引用数 10

ひとこと要約

本論文は、マカクの一次視覚皮質（V1）における神経応答を予測する深層ニューラルネットワークと画像分類の両方を同時に学習するマルチタスク学習フレームワークを提案する。生物学的インダクティブバイアスを活用することで、画像の歪みに対してより頑健な性能が得られる。訓練時に汚染された画像を一切使用していないにもかかわらず、V1正則化ネットワークは分布外一般化性能が著しく向上し、汚染データで訓練されたオラクルモデルに近い性能を達成しており、より脳に類似した、サリエンシーに敏感な特徴表現を示している。

ABSTRACT

Deep neural networks set the state-of-the-art across many tasks in computer vision, but their generalization ability to image distortions is surprisingly fragile. In contrast, the mammalian visual system is robust to a wide range of perturbations. Recent work suggests that this generalization ability can be explained by useful inductive biases encoded in the representations of visual stimuli throughout the visual cortex. Here, we successfully leveraged these inductive biases with a multi-task learning approach: we jointly trained a deep network to perform image classification and to predict neural activity in macaque primary visual cortex (V1). We measured the out-of-distribution generalization abilities of our network by testing its robustness to image distortions. We found that co-training on monkey V1 data leads to increased robustness despite the absence of those distortions during training. Additionally, we showed that our network's robustness is very close to that of an Oracle network where parts of the architecture are directly trained on noisy images. Our results also demonstrated that the network's representations become more brain-like as their robustness improves. Using a novel constrained reconstruction analysis, we investigated what makes our brain-regularized network more robust. We found that our co-trained network is more sensitive to content than noise when compared to a Baseline network that we trained for image classification alone. Using DeepGaze-predicted saliency maps for ImageNet images, we found that our monkey co-trained network tends to be more sensitive to salient regions in a scene, reminiscent of existing theories on the role of V1 in the detection of object borders and bottom-up saliency. Overall, our work expands the promising research avenue of transferring inductive biases from the brain, and provides a novel analysis of the effects of our transfer.

研究の動機と目的

• マカクのV1からの神経応答と画像分類の両方を同時に学習させることで、画像の歪みに対する深層ネットワークの頑健性が向上するかを調査すること。
• 脳に類似した表現が人工ネットワークに一般化のためのより良いインダクティブバイアスをもたらすという神経共学習仮説を検証すること。
• 脳正則化表現が、標準的な分類ネットワークと比較して感受性と不変性の点でどのように異なるかを分析すること。
• 理論的に予測されるV1機能の観点から、改善された頑健性が、サリientな画像特徴への感受性と相関しているかどうかを評価すること。

提案手法

• 同じ自然画像を用いて、マカクV1のスパイク応答を予測するタスクと画像分類タスクを同時に学習する深層ニューラルネットワークを訓練する。
• 分類タスクと神経応答予測タスクの両方のヘッドに共通の表現ブランチを設け、マルチタスク学習を強制する。
• 汚染された画像のデータオーグメンテーションを一切行わず、清澄なImageNet画像のみを用いてモデルを訓練する。
• マルチタスクモデルの頑健性を、分類タスクのみのベースラインと、汚染データで訓練されたオラクルモデルと比較する。
• 特徴の感受性と不変性を解明するために、新規の制約付き再構成解析を適用する。
• DeepGazeによって予測されたサリエンシー地図を用いて、ネットワークが行動的に関連する画像領域に注目しているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に汚染画像にさらされていないにもかかわらず、サルV1神経データを用いたマルチタスク学習が、深層ネットワークの画像歪みに対する頑健性を向上させるか？
• RQ2 汚染データで訓練されたオラクルモデルと比較して、V1正則化ネットワークの頑健性はどの程度高いか？
• RQ3 脳正則化ネットワークの改善された頑健性の背後にある、特徴の感受性と不変性の変化は何か？
• RQ4 V1正則化ネットワークの表現が、サリエンシー地図とどの程度一致するか。これは、下位から上位への注意に果たすV1の役割を示唆するか？

主な発見

• 画像分類とマカクV1応答の両方を共に学習させたマルチタスクネットワークは、清澄なTiny ImageNet画像を用いて訓練したにもかかわらず、15種類の一般的な画像歪みに対して、標準的な分類タスクのみのベースラインと比較して顕著に高い頑健性を示した。
• V1正則化ネットワークの頑健性は、ネットワークの一部のみを汚染データで訓練したオラクルモデルと同等であり、強力なインダクティブバイアスの転送が実現していることを示している。
• 制約付き再構成解析の結果、V1正則化ネットワークは標準的な分類ネットワークと比較して、画像の内容に対してはより感受性が高く、ノイズに対してはより感受性が低いことが判明し、不変性の向上が示唆された。
• 頑健性が向上するに従い、ネットワークの特徴表現は脳に類似したものとなり、V1における既知の神経応答パターンと強い一致を示した。
• V1正則化ネットワークは、DeepGazeによるサリエンシー地図で予測されたサルientな画像領域に対して、より高い感受性を示した。これは、V1が物体の境界や下位から上位へのサリエンシーを検出する役割を果たすという理論と整合的である。
• 本結果は神経共学習仮説を支持しており、生物学的神経データが人工ネットワークの正則化に強力な役割を果たし、データ拡張を一切用いずに一般化性能を向上させられることを示している。