[논문 리뷰] Optimizing deep video representation to match brain activity

Hugo Richard, Ana Lúısa Pinho외 2명|arXiv (Cornell University)|2018. 09. 07.

Face Recognition and Perception참고 문헌 8인용 수 4

한 줄 요약

이 연구는 자연영화 시청 중 뇌 활동을 예측하기 위해 Kinetics에서 미리 훈련된 시간 분할 네트워크(TSN)를 사용하여 딥 비디오 표현을 최적화한다. 뇌의 시각 처리에서 중심시력 영역과 주변시력 영역의 이원성 구조를 규명하였으며, 중심시력 영역은 고수준 RGB 특징으로, 주변시력 영역은 저수준 옵티컬 플로우 특징으로 가장 잘 예측되며, 기존의 주성분 분석(PCA)보다 새로운 공간 압축 기법을 통해 성능이 뛰어나다.

ABSTRACT

The comparison of observed brain activity with the statistics generated by artificial intelligence systems is useful to probe brain functional organization under ecological conditions. Here we study fMRI activity in ten subjects watching color natural movies and compute deep representations of these movies with an architecture that relies on optical flow and image content. The association of activity in visual areas with the different layers of the deep architecture displays complexity-related contrasts across visual areas and reveals a striking foveal/peripheral dichotomy.

연구 동기 및 목표

• 자연주의 자극 중 딥 비디오 표현에서 전체 뇌의 fMRI 활동을 예측하는 방법을 개발하기 위해.
• 딥 신경망의 다양한 추상화 수준이 인간의 시각皮질에서의 功能적 조직과 어떻게 관련되어 있는지 조사하기 위해.
• 딥 비디오 특징에 대한 효율적인 공간 압축 기법을 도입하여 계산 효율성과 예측 성능을 향상시키기 위해.
• 딥 네트워크 레이어 활성화의 대비 분석을 통해 망막조직 배치(중심시력 대 주변시력)의 신경 기초를 규명하기 위해.

제안 방법

• 행동 인식을 위한 미리 훈련된 Kinetics 데이터셋 기반의 Inception v3 기반 시간 분할 네트워크(TSN)를 사용하여 색채 자연영화에서 딥 비디오 표현을 추출한다.
• RGB 및 옵티컬 플로우 스트림의 네 개의 합성곱 레이어(L1–L4)에서 활성화 통계를 추출하여 계층적 특징 추상화를 캡처한다.
• 고차원 특징을 유지하면서 공간 구조를 보존하기 위해 공간 스무딩과 시간 평균화(2초당 하나의 표현)를 적용하여 특징를 압축한다.
• 1.5mm 등방성 해상도로 확보한 개인별 fMRI 데이터를 사용하여 선형 회귀 모델을 적용해 fMRI 볼륨 활동을 예측한다.
• 채널 구조를 유지하면서 PCA보다 우수한 예측 성능을 보이는 새로운 압축 방법을 도입한다.
• 시각 영역 및 망막조직 지도에서의 功能적 특수화를 규명하기 위해 예측 점수 대비 분석(L4_rgb - L2_rgb, L1_flow - L4_rgb 등)을 계산한다.

실험 결과

연구 질문

• RQ1 자연영화 시청 중 딥 신경망의 다양한 추상화 수준은 인간의 시각 피질 영역에서의 기능적 특수화와 어떻게 관련되어 있는가?
• RQ2 행동 인식 네트워크에서 유도된 딥 비디오 표현은 전체 인간 뇌에서 fMRI 활동을 높은 정확도로 예측할 수 있는가?
• RQ3 망막조직 배치(중심시력 대 주변시력)와 특정 딥 네트워크 레이어의 예측 능력 사이의 관계는 무엇인가?
• RQ4 딥 비디오 특징에 대한 새로운 공간 압축 기법은 PCA와 같은 기존 방법보다 뇌 활동 예측 성능에서 뛰어나게 되는가?
• RQ5 원본 이미지 스트림과 옵티컬 플로우 스트림은 중심시력 영역과 주변시력 영역의 활동 예측에 어떻게 다른 기여를 하는가?

주요 결과

• 연구는 딥 비디오 표현을 사용하여 전체 뇌의 fMRI 활동을 성공적으로 예측하였으며, 예측 점수는 우연의 경우보다 유의미하게 높았다.
• 후두엽 및 측면 시각 영역에서는 상이한 패턴을 보였으며, 저수준 레이어(L1–L2)는 초기 시각 영역의 활동을 예측하고, 고수준 레이어(L3–L4)는 측면 및 후두부 경로 영역의 활동을 예측하였다.
• 두드러진 중심시력/주변시력 이원성은 중심시력 영역은 고수준 RGB 특징(L4_rgb)으로, 주변시력 영역은 저수준 옵티컬 플로우 특징(L1_flow)으로 가장 잘 예측됨을 드러냈다.
• L1_flow - L4_rgb 대비 분석은 선호도 원추경도 망막조직 지도와 거의 정확히 일치하였으며, 이는 이 차이가 중심시력 대비 주변시력 처리를 특별히 인코딩하고 있음을 확인하였다.
• 제안된 딥 비디오 특징 압축 기법은 예측 성능에서 PCA를 능가하였으며, 상당한 표현 충실도 손실 없이 더 빠른 훈련을 가능하게 하였다.
• 세 가지 핵심 대비 분석(L2_flow - L4_flow, L2_rgb - L4_rgb, L1_flow - L4_rgb) 기반의 분할은 세 가지 주요 군집을 규명하였다: 중심시력 영역(어두운 파랑), 주변시력 영역(녹색), 측면/추상적 물체 인코딩 영역(노랑색).