[논문 리뷰] Towards robust vision by multi-task learning on monkey visual cortex

Shahd Safarani, Arne Nix외 6명|arXiv (Cornell University)|2021. 07. 29.

Visual Attention and Saliency Detection참고 문헌 37인용 수 10

한 줄 요약

이 논문은 깊이 신경망을 이미지 분류와 마카카 원숭이의 주요 시각皮질(V1)에서의 신경 반응 예측을 동시에 학습하는 다중 작업 학습 프레임워크를 제안하며, 생물학적 인덕티브 바이어스를 활용하여 이미지 왜곡에 대한 강건성을 향상시킨다. 오직 청소된 이미지에 대해서만 훈련된 V1-정규화된 네트워크는 외부 분포 일반화 성능이 크게 향상되어, 손상된 데이터로 훈련된 오라클 모델의 성능에 가까워지며, 더 뇌 유사하고, 자극 민감도에 민감한 특징 표현을 보인다.

ABSTRACT

Deep neural networks set the state-of-the-art across many tasks in computer vision, but their generalization ability to image distortions is surprisingly fragile. In contrast, the mammalian visual system is robust to a wide range of perturbations. Recent work suggests that this generalization ability can be explained by useful inductive biases encoded in the representations of visual stimuli throughout the visual cortex. Here, we successfully leveraged these inductive biases with a multi-task learning approach: we jointly trained a deep network to perform image classification and to predict neural activity in macaque primary visual cortex (V1). We measured the out-of-distribution generalization abilities of our network by testing its robustness to image distortions. We found that co-training on monkey V1 data leads to increased robustness despite the absence of those distortions during training. Additionally, we showed that our network's robustness is very close to that of an Oracle network where parts of the architecture are directly trained on noisy images. Our results also demonstrated that the network's representations become more brain-like as their robustness improves. Using a novel constrained reconstruction analysis, we investigated what makes our brain-regularized network more robust. We found that our co-trained network is more sensitive to content than noise when compared to a Baseline network that we trained for image classification alone. Using DeepGaze-predicted saliency maps for ImageNet images, we found that our monkey co-trained network tends to be more sensitive to salient regions in a scene, reminiscent of existing theories on the role of V1 in the detection of object borders and bottom-up saliency. Overall, our work expands the promising research avenue of transferring inductive biases from the brain, and provides a novel analysis of the effects of our transfer.

연구 동기 및 목표

• 이미지 분류와 마카카 원숭이 V1의 신경 반응을 함께 훈련함으로써, 깊이 신경망의 이미지 왜곡에 대한 강건성이 향상되는지 조사하는 것.
• 뇌 유사 표현이 인공 네트워크에 더 나은 일반화를 위한 인덕티브 바이어스를 제공할 수 있다는 신경 공훈련 가설을 검증하는 것.
• 표준 분류 네트워크와 비교하여 뇌 정규화된 표현이 민감도와 불변성 측면에서 어떻게 다를지 분석하는 것.
• 예측된 바와 같이, 개선된 강건성이 자극 민감도에 기초한 특징에 민감한지, V1 기능 이론에 따라 확인하는 것.

제안 방법

• 동일한 자연 이미지 자극을 사용하여 깊이 신경망을 동시에 이미지 분류와 마카카 V1의 스파iking 반응 예측을 수행하도록 공동으로 훈련한다.
• 분류 및 신경 반응 예측 헤드 간에 공유된 표현 브랜치를 사용하여 다중 작업 학습을 강제한다.
• 왜곡을 포함한 데이터 증강 없이, 오직 청소된 ImageNet 이미지에 대해서만 모델을 훈련한다.
• 다중 작업 모델의 강건성을 표준 분류 전용 기준 모델과 손상된 이미지로 훈련된 오라클 모델과 비교한다.
• 학습된 표현의 민감도와 불변성을 탐구하기 위해 새로운 제약 조건이 있는 복원 분석을 적용한다.
• 딥게이지 예측된 자극 지도를 사용하여 네트워크가 행동적으로 중요한 이미지 영역에 집중하는지 평가한다.

실험 결과

연구 질문

• RQ1 원숭이 V1 신경 데이터를 활용한 다중 작업 학습이, 훈련 중에 왜곡에 노출되지 않았음에도 불구하고 깊이 신경망의 이미지 왜곡에 대한 강건성을 향상시키는가?
• RQ2 V1-정규화된 네트워크의 강건성은 손상된 이미지로 훈련된 오라클 모델과 비교하여 어떻게 되는가?
• RQ3 뇌 정규화된 네트워크에서 향상된 강건성의 근본 원인인 특징 민감도와 불변성의 변화는 무엇인가?
• RQ4 V1-정규화된 네트워크의 표현이 자극 지도와 얼마나 일치하는가? 이는 하향식 주의의 역할을 시사하는가?

주요 결과

• 이미지 분류와 마카카 V1 반응을 함께 훈련한 다중 작업 네트워크는 표준 분류 전용 기준 모델보다 티니 이미지넷에서 15종의 일반적인 이미지 왜곡에 대해 유의미하게 높은 강건성을 보였다.
• V1-정규화된 네트워크의 강건성은 네트워크 일부만 손상된 데이터로 훈련된 오라클 모델과 유사했으며, 강력한 인덕티브 바이어스 전이를 시사했다.
• 제약 조건이 있는 복원 분석 결과, V1-정규화된 네트워크는 표준 분류 네트워크보다 이미지 내용에 더 민감하고 노이즈에 덜 민감한 것으로 나타나, 향상된 불변성을 시사했다.
• 강건성이 향상될수록 네트워크의 특징 표현은 더 뇌 유사해졌으며, V1의 알려진 신경 반응 패tern과 더 강하게 일치했다.
• V1-정규화된 네트워크는 딥게이지 자극 지도에서 예측된 자극 영역에 더 높은 민감도를 보였으며, 이는 V1이 물체 경계와 하향식 자극을 탐지하는 데 기여한다는 점과 일치했다.
• 결과는 신경 공훈련 가설을 지지하며, 생물학적 신경 데이터가 데이터 증강 없이도 인공 네트워크의 일반화 성능을 향상시키는 강력한 정규화 요소가 될 수 있음을 보여주었다.