[논문 리뷰] Neural Population Geometry Reveals the Role of Stochasticity in Robust Perception

Joel Dapello, Jenelle Feather외 6명|arXiv (Cornell University)|2021. 11. 12.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 6

한 줄 요약

이 논문은 생물학적 신경 가변성에 영감을 받은 인공 신경망의 확률적 특성이 시각 및 听각 영역에서 적대적 편향에 대한 강건성을 향상시킨다는 것을 신경 집단 기하학을 통해 규명한다. 고차원 신경 표현의 기하 분석을 통해 저자들은 확률적 네트워크가 적대적 자극과 정상 자극의 표현이 겹치는 방식으로 강건성을 달성하며, 이는 적대적 성능과 정상 성능 사이의 상충 관계에 의해 매개됨을 보여준다.

ABSTRACT

Adversarial examples are often cited by neuroscientists and machine learning researchers as an example of how computational models diverge from biological sensory systems. Recent work has proposed adding biologically-inspired components to visual neural networks as a way to improve their adversarial robustness. One surprisingly effective component for reducing adversarial vulnerability is response stochasticity, like that exhibited by biological neurons. Here, using recently developed geometrical techniques from computational neuroscience, we investigate how adversarial perturbations influence the internal representations of standard, adversarially trained, and biologically-inspired stochastic networks. We find distinct geometric signatures for each type of network, revealing different mechanisms for achieving robust representations. Next, we generalize these results to the auditory domain, showing that neural stochasticity also makes auditory models more robust to adversarial perturbations. Geometric analysis of the stochastic networks reveals overlap between representations of clean and adversarially perturbed stimuli, and quantitatively demonstrates that competing geometric effects of stochasticity mediate a tradeoff between adversarial and clean performance. Our results shed light on the strategies of robust perception utilized by adversarially trained and stochastic networks, and help explain how stochasticity may be beneficial to machine and biological computation.

연구 동기 및 목표

• 생물학적으로 영감을 받은 확률적 특성이 인공 신경망에서 적대적 강건성을 향상시키는 메커니즘을 이해하기 위해.
• 정상 자극과 적대적 자극에 대한 표준, 적대적으로 훈련된, 그리고 확률적 네트워크의 기하학적 특징을 비교하기 위해.
• 확률적 특성이 시각을 초월하여 听각 인지 모델로까지 확장되는지 조사하기 위해.
• 확률적 표현이 유도하는 정상 성능과 적대적 강건성 사이의 상충 관계를 정량화하기 위해.
• 신경 집단 기하학이 인공 및 생물학적 시스템에서 강건한 인지 작동을 어떻게 매개하는지 탐색하기 위해.

제안 방법

• 컴퓨터 신경과학에서 유래한 다양체 분석 기법을 적용하여 딥 네트워크 내 고차원 신경 표현을 연구하였다.
• 시각 및 听각 영역에서 표준, 적대적으로 훈련된, 생물학적으로 영감을 받은 확률적 네트워크의 세 가지 유형을 훈련하고 분석하였다.
• 다양체 너비, 분리 가능성, 내재 차원 수와 같은 기하 측도를 사용하여 정상 자극과 적대적 자극 표현을 비교하였다.
• 노이즈 수준에 따라 표현에 기반한 이진 서포트 벡터 머신(SVM)을 훈련시켜 정상 및 적대적 예시 다양체의 선형 분리 가능성 평가를 수행하였다.
• 네트워크 출력에 가우시안 노이즈 수준을 체계적으로 변화시켜 성능 상충 관계와 기하학적 영향을 맵핑하였다.
• 새로운 听각 모델인 StochCochResNet50를 확장하여 확률적 반응을 갖도록 하여, 다양한 모odal 간 일반화 가능성 확인하였다.

실험 결과

연구 질문

• RQ1 정상 자극과 적대적 자극에 대한 표준, 적대적으로 훈련된, 그리고 확률적 네트워크의 신경 집단 표현 기하학적 특징은 어떻게 다를까?
• RQ2 신경 확률적 특성이 시각 모델에서의 영향과 유사하게 听각 신경망에서 적대적 강건성을 향상시키는가?
• RQ3 정상 자극과 적대적 자극 표현 간의 겹침이 확률적 네트워크에서 강건한 인지 작동을 가능하게 하는 역할은 무엇인가?
• RQ4 기하학적 수준에서 확률적 특성이 정상 성능과 적대적 강건성 사이의 상충 관계를 어떻게 매개하는가?
• RQ5 확률적 네트워크에서의 강건성 기하학적 메커니즘이 적대적으로 훈련된 네트워크와 유사한가?

주요 결과

• 확률적 네트워크는 정상 자극과 적대적 자극 다양체 표현 간의 상당한 겹침을 특징으로 하는 독특한 기하학적 특징을 보인다.
• 노이즈 수준이 높아질수록 정상 및 적대적 표현 간 겹침이 증가하며, 특히 고노이즈 영역에서 보다 두드러진다. 이는 보호 기하학적 메커니즘을 시사한다.
• 확률적 특성이 증가함에 따라, 표현에 기반한 이진 SVM 훈련 결과 정상 및 적대적 예시 다양체의 선형 분리 가능성은 감소한다.
• 적대적 강건성과 정상 성능 사이에 상충 관계가 존재한다: 높은 확률적 특성은 강건성을 향상시키지만, 클래스 다양체의 엉키는 정도가 증가함에 따라 피크 정확도는 감소한다.
• StochCochResNet50 모델에서의 성능을 통해 확률적 특성의 이점이 일반화되었음을 확인하였으며, 이는 시각 모델과 유사한 일관된 기하 패턴을 생성하였다.
• 노이즈 수준 증가에 따라 다양체 너비는 증가하였고, 클래스 및 예시 다양체 용량은 감소하였다. 이는 확률적 특성에 의해 표현 공간의 구조적 재조직이 일어남을 시사한다.