[논문 리뷰] A Neurobiological Cross-domain Evaluation Metric for Predictive Coding Networks.

Nathaniel Blanchard, Jeffery Kinnison외 3명|arXiv (Cornell University)|2018. 05. 28.

Face Recognition and Perception인용 수 1

한 줄 요약

이 논문은 fMRI 뇌 활성 패턴과 인공 신경망 활성화 간의 유사성을 표현형 비유사성 행렬(RDMs)을 사용하여 정량화하는 인간-모델 유사도(HMS) 지표를 소개한다. 이 지표는 다음 프레임 예측 및 물체 매칭 작업에서 성능 향상과 관련이 있으며, 예측 코드 네트워크의 훈련을 위한 조기 정지 지침으로도 활용할 수 있다.

ABSTRACT

Neuroscience theory posits that the brain's visual system coarsely identifies broad object categories via neural activation patterns, with similar objects producing similar neural responses. Artificial neural networks also have internal activation behavior in response to stimuli. We hypothesize that networks exhibiting brain-like activation behavior will demonstrate brain-like characteristics, e.g., stronger generalization capabilities. In this paper we introduce a human-model similarity (HMS) metric, which quantifies the similarity of human fMRI and network activation behavior. To calculate HMS, representational dissimilarity matrices (RDMs) are created as abstractions of activation behavior, measured by the correlations of activations to stimulus pairs. HMS is then the correlation between the fMRI RDM and the neural network RDM across all stimulus pairs. We test the metric on unsupervised predictive coding networks, which specifically model visual perception, and assess the metric for statistical significance over a large range of hyperparameters. Our experiments show that networks with increased human-model similarity are correlated with better performance on two computer vision tasks: next frame prediction and object matching accuracy. Further, HMS identifies networks with high performance on both tasks. An unexpected secondary finding is that the metric can be employed during training as an early-stopping mechanism.

연구 동기 및 목표

• 인간 뇌 활성 패턴과 인공 신경망 활성화 간의 유사성을 정량화하는 지표를 개발하는 것.
• 뇌 유사 활성 패턴을 보이는 네트워크가 시각 작업에서 더 뛰어난 일반화 능력과 성능을 보이는지 평가하는 것.
• 비지도 예측 코드 네트워크의 광범위한 초모수 공간에서 이 지표의 통계적 유의성을 평가하는 것.
• 모델 최적화 중 훈련의 조기 정지를 위한 HMS의 잠재적 활용을 탐색하는 것.

제안 방법

• fMRI 데이터와 신경망 출력에 대해 자극 쌍 간의 활성화 상관관계를 기반으로 표현형 비유사성 행렬(RDMs)을 구성한다.
• 인간-모델 유사도(HMS)는 모든 자극 쌍에 걸쳐 fMRI RDM과 네트워크 RDM 간의 상관계수로 계산된다.
• 이 지표는 시각 인식 작업에 대해 훈련된 비지도 예측 코드 네트워크에 적용된다.
• 초모수 공간 전반에 걸쳐 HMS의 통계적 유의성을 평가하여 안정성을 검증한다.
• 다음 프레임 예측 및 물체 매칭 작업에서의 성능을 HMS 점수와 상관관계 분석한다.
• 실시간 훈련 신호로서의 지표를 테스트하여 최적의 정지 시점을 결정한다.

실험 결과

연구 질문

• RQ1 예측 코드 네트워크가 뇌 유사 활성 패턴을 보일수록 시각 예측 작업에서 성능이 향상되는 정도는 어느 정도인가?
• RQ2 HMS 지표가 다양한 초모수 설정에서 높은 성능을 보이는 모델을 신뢰성 있게 식별할 수 있는가?
• RQ3 HMS는 다음 프레임 예측 및 물체 매칭 작업에서 일반화 능력과 관련이 있는가?
• RQ4 HMS는 모델 훈련 중 조기 정지 신호로 유효하게 사용될 수 있는가?

주요 결과

• 더 높은 인간-모델 유사도(HMS)를 보이는 네트워크가 다음 프레임 예측 작업에서 유의미하게 뛰어난 성능을 보였다.
• HMS가 높아질수록 물체 매칭 작업에서 정확도가 높아졌으며, 이는 일반화 능력 향상을 시사한다.
• HMS 지표는 동시에 두 시각 작업에서 뛰어난 성능을 보이는 모델을 성공적으로 식별했다.
• 이 지표는 광범위한 초모수 설정에서 통계적 유의성을 보이며 신뢰성을 뒷받침한다.
• HMS는 훈련 중 조기 정지 기준으로 효과적으로 기능했으며, 과적합을 줄이고 일반화 능력을 향상시켰다.
• 예상치 못했지만 유용한 발견은 HMS가 레이블이 없는 데이터 없이도 훈련을 지도할 수 있다는 점이었다.