[논문 리뷰] Learning From Brains How to Regularize Machines

Zhe Li, Wieland Brendel외 8명|arXiv (Cornell University)|2019. 11. 11.

Cell Image Analysis Techniques인용 수 12

한 줄 요약

이 논문은 대규모 마우스 시각皮질 기록에서 유도된 표현 유사도를 사용하여 컨볼루션 신경망(CNNs)을 정규화함으로써 노이즈 및 적대적 공격에 대한 강건성을 향상시키는 방법을 제안한다. 신경 반응에 기반한 예측 모델을 훈련하고 생물학적으로 유도된 표현에서의 이탈을 방지하기 위해 정규화함으로써, 표준 정확도를 희생시키지 않은 채 모델의 일반화 능력을 향상시킨다. 이는 편향이 없는 기준 모델 및 제어 모델보다 훨씬 뛰어난 성능을 보인다. 특히 노이즈가 첨가된 입력에 대해 뛰어난 성능을 발휘한다.

ABSTRACT

Despite impressive performance on numerous visual tasks, Convolutional Neural Networks (CNNs) --- unlike brains --- are often highly sensitive to small perturbations of their input, e.g. adversarial noise leading to erroneous decisions. We propose to regularize CNNs using large-scale neuroscience data to learn more robust neural features in terms of representational similarity. We presented natural images to mice and measured the responses of thousands of neurons from cortical visual areas. Next, we denoised the notoriously variable neural activity using strong predictive models trained on this large corpus of responses from the mouse visual system, and calculated the representational similarity for millions of pairs of images from the model's predictions. We then used the neural representation similarity to regularize CNNs trained on image classification by penalizing intermediate representations that deviated from neural ones. This preserved performance of baseline models when classifying images under standard benchmarks, while maintaining substantially higher performance compared to baseline or control models when classifying noisy images. Moreover, the models regularized with cortical representations also improved model robustness in terms of adversarial attacks. This demonstrates that regularizing with neural data can be an effective tool to create an inductive bias towards more robust inference.

연구 동기 및 목표

• 마우스 시각皮질의 생물학적 신경 표현 유사도를 도입함으로써 딥러닝 모델의 강건성을 향상시킬 수 있는지 조사하기.
• 특히 노이즈 또는 적대적 입력 하에서 인공신경망과 생물학적 뇌 사이의 강건성 격차를 해소하기.
• 실제 신경 활동에서 유도된 인덕티브 바이어스를 통합한 데이터 기반 정규화 방법 개발하기.
• 신경 표현 유사도가 무작위 특징 또는 사전 훈련된 VGG 모델의 특징보다 더 효과적인 인덕티브 바이어스가 되는지 평가하기.

제안 방법

• 깨어있는 마우스의 주요 시각皮질에서 수천 개의 뉴런에 대한 집단 반응을 기록하였으며, 이는 5100개의 자연스러운 회색조 이미지에 노출된 상태에서 측정되었다.
• 각 뉴런의 신호 대 잡음 비율을 계산하여 반응을 가중함으로써 신경 유사도 추정의 신뢰도를 향상시켰다.
• 반복된 시험(오라클 이미지)을 사용하여 신경 활동을 예측하는 강력한 모델을 훈련함으로써, 노이즈가 제거된 표현 예측을 가능하게 하였다.
• 예측된 신경 반응 기반으로 이미지 쌍 간의 표현 유사도 행렬을 계산하였다.
• CNN의 손실 함수를 수정하여, 신경 유사도 구조에서 벗어나는 중간 특징 활성화를 방지하는 정규화를 적용하였다.
• 분류 및 신경 유사도 정규화를 동시에 최적화하는 방식으로 ResNet 모델을 훈련하였으며, 학습 가능한 가중치 계수 α를 사용하였다.

실험 결과

연구 질문

• RQ1 마우스 시각皮질의 신경 표현 유사도를 사용한 정규화가 입력 편향에 대한 CNN의 강건성을 향상시킬 수 있는가?
• RQ2 무작위 특징 또는 사전 훈련된 VGG 모델의 특징을 사용한 정규화보다 신경 기반 정규화가 더 우수한가?
• RQ3 정규화를 적용할 네트워크 레이어의 선택이 모델 성능 및 안정성에 어떤 영향을 미치는가?
• RQ4 향상된 강건성은 진정한 인덕티브 바이어스 때문인지, 기울기 마스킹과 같은 아티팩트 때문인가?
• RQ5 이 방법은 다양한 종류의 적대적 공격 및 노이즈 분포에 대해 일반화 가능한가?

주요 결과

• 노이즈가 첨가된 이미지를 분류할 때, 신경 표현 유사도로 정규화된 모델은 기준 모델보다 유의미하게 높은 정확도를 기록하였다.
• 신경 기반 정규화 모델은 $L_p$ 노름($L_0$, $L_1$, $L_2$, $L_∞$)을 모두 통해 적대적 공격에 대한 강건성이 뚜렷이 향상되었으며, 기준 모델 및 제어 모델을 모두 압도하였다.
• PGD, C&W, JSMA, Brendel & Bethge 등의 다양한 적대적 공격에 걸쳐 강건성 향상 효과가 일관되게 관찰되어 일반화 능력 향상의 진정한 증거로 볼 수 있었다.
• 정규화 효과는 신경 유사도에 특화되어 있었으며, 무작위로 셔플된 특징 또는 VGG 기반 특징으로 정규화한 모델은 상당히 낮은 향상 수준을 보였다.
• 최적의 정규화 레이어는 결정적이지는 않았지만, 일반적으로 초기에서 중간 수준의 컨볼루션 레이어에 집중되었으며, 레이어 선택은 정규화 강도 α에 영향을 받았다.
• 이 방법은 표준 ImageNet 분류 성능을 유지하면서도 강건성을 향상시켰으며, 생물학적 인덕티브 바이어스가 인공 네트워크로 효과적으로 전이될 수 있음을 보여주었다.