[논문 리뷰] Spatio-temporal convolutional neural networks explain human neural representations of action recognition

Andrea Tacchetti, Leyla Işık외 1명|arXiv (Cornell University)|2016. 06. 15.

Face Recognition and Perception참고 문헌 21인용 수 6

한 줄 요약

이 연구는 시공간 컨volution 신경망(ST-CNNs)이 영상 자극에서 행동을 정확하게 분류할 수 있음을 보여주며, 행동 인식의 불변성 성능을 향상시키는 수정 조치가 인간 fMRI 기록과 밀도 있게 일치하는 신경 표현을 생성함을 밝혀낸다. 연구 결과는 행동에 대한 인간 시각皮質 표현의 형성에 불변성 식별이 핵심 요소임을 지지한다.

ABSTRACT

Recognizing the actions of others from visual stimuli is a crucial aspect of human visual perception that allows individuals to respond to social cues. Humans are able to identify similar behaviors and discriminate between distinct actions despite transformations, like changes in viewpoint or actor, that substantially alter the visual appearance of a scene. This ability to generalize across complex transformations is a hallmark of human visual intelligence. Advances in understanding motion perception at the neural level have not always translated in precise accounts of the computational principles underlying what representation our visual cortex evolved or learned to compute. Here we test the hypothesis that invariant action discrimination might fill this gap. Recently, the study of artificial systems for static object perception has produced models, CNNs, that achieve human level performance in complex discriminative tasks. Within this class of models, architectures that better support invariant object recognition also produce image representations that match those implied by human and primate neural data. However, whether these models produce representations of action sequences that support recognition across complex transformations and closely follow neural representations remains unknown. Here we show that spatiotemporal CNNs appropriately categorize video stimuli into actions, and that deliberate model modifications that improve performance on an invariant action recognition task lead to data representations that better match human neural recordings. Our results support our hypothesis that performance on invariant discrimination dictates the neural representations of actions computed by human visual cortex.

연구 동기 및 목표

• 복잡한 시각적 변형 조건 하에서 딥 러닝 모델이 인간 신경 표현을 재현할 수 있는지 조사하기 위해.
• 불변 행동 인식을 최적화한 모델이 인간 fMRI 데이터와 일치하는 표현을 생성하는지 확인하기 위해.
• 불변 식별이 인간 시각皮질이 계산하는 신경 표현의 구조를 이끄는 핵심 요인인지 테스트하기 위해.
• 역운동 행동 인식 분야에서 인공 모델과 생물학적 신경 데이터 간 격차를 메우기 위해.

제안 방법

• 시점과 주체 변화에 대응하는 행동 인식을 위해 영상 데이터셋에서 시공간 컨volution 신경망(ST-CNNs)을 훈련시키기 위해.
• 시간 모델링 및 공간 풀링 메커니즘과 같은 방법으로 행동 인식의 불변성을 향상시키기 위해 아키텍처 수정을 적용하기 위해.
• 훈련된 ST-CNNs로부터 특징 표현을 추출하고, 표현 유사도 분석(RSA)을 사용해 인간 fMRI 기록과 비교하기 위해.
• 행동 성능와 신경 유사도 간 상관관계를 분석하기 위해 불변 행동 인식 작업에서 모델 성능을 평가하기 위해.
• 모델 표현이 행동 자극에 대한 인간 신경 반응을 얼마나 잘 예측하는지 평가하기 위해 다바이크스 패턴 분석(MVPA)을 사용하기 위해.

실험 결과

연구 질문

• RQ1 시공간 CNNs가 fMRI로 기록된 인간 신경 활동 패턴과 일치하는 행동 표현을 생성하는가?
• RQ2 시점과 주체 변화에 대한 모델의 불변성 성능을 향상시키면 인간 신경 표현과의 일치도가 향상되는가?
• RQ3 불변 행동 인식 성능와 인간 시각皮질 표현의 구조 사이에 인과관계가 존재하는가?
• RQ4 불변 행동 인식을 위해 훈련된 인공 신경망이 인간 시각 지능의 계산 모델로 기능할 수 있는가?

주요 결과

• 시공간 CNNs는 높은 정확도로 영상 자극을 고유한 행동로 분류하는 데 성공한다.
• 불변 행동 인식 작업에서 성능을 향상시키는 모델 수정 조치는 인간 fMRI 데이터와 더 밀접하게 일치하는 표현을 생성한다.
• 모델 특징와 인간 신경 반응 간 표현 유사도 수준은 불변 인식 성능 향상과 함께 증가한다.
• 인간 시각皮질의 신경 표현은 복잡한 변형에 일반화하는 데 필요한 조건에 의해 형성되며, 최고 성능 모델의 불변성 특성과 일치한다.