[논문 리뷰] Brains on Beats

Umut Güçlü, Jordy Thielen외 2명|arXiv (Cornell University)|2016. 06. 08.

Neural dynamics and brain function참고 문헌 29인용 수 14

한 줄 요약

이 연구는 자동 음악 태깅 작업에 최적화된 딥 네ural 네트워크(DNN)를 개발하고, 이를 통해 인간 뇌의 음악에 대한 신경 표현을 탐구했다. 표현 유사도 분석을 통해 위상성 피각의 기울기가 드러났다: 전방성 피각은 얕은 DNN 층에서 유도된 저수준 특징을 표현하고, 후방성 피각은 깊은 DNN 층에서 유도된 고수준 특징을 표현한다.

ABSTRACT

We developed task-optimized deep neural networks (DNNs) that achieved state-of-the-art performance in different evaluation scenarios for automatic music tagging. These DNNs were subsequently used to probe the neural representations of music. Representational similarity analysis revealed the existence of a representational gradient across the superior temporal gyrus (STG). Anterior STG was shown to be more sensitive to low-level stimulus features encoded in shallow DNN layers whereas posterior STG was shown to be more sensitive to high-level stimulus features encoded in deep DNN layers.

연구 동기 및 목표

• 자동 음악 태깅 작업에 최적화된 딥 네럴 네트워크(DNN)를 개발하기 위해.
• 인간 뇌의 음악 표현이 DNN의 계층적 특징과 어떻게 대응되는지 조사하기 위해.
• 음악 특징에 대한 반응에서 위상성 피각(STG)의 전방-후방 축에 따른 기능적 전문화를 매핑하기 위해.
• DNN가 음악 인식의 신경인지 모델로 사용될 수 있는지 확인하기 위해.

제안 방법

• 자동 음악 태깅 데이터셋에서 최적화된 DNN를 훈련시어 계층적 특징 표현을 생성하기 위해.
• DNN의 다양한 층에서 활성화 패턴을 추출하였으며, 얕은 층은 저수준 음향 특징을, 깊은 층은 고수준 의미 특징을 캡처하였다.
• 참가자들이 음악을 듣는 동안 기능적 MRI 데이터를 확보하여 위상성 피각(STG)의 신경 활동을 측정하였다.
• DNN 특징 표현과 STG의 신경 활동 패턴을 비교하기 위해 표현 유사도 분석(RSA)을 수행하였다.
• STG의 전방-후방 축을 따라 표현 민감도의 공간 기울기를 매핑하였다.
• DNN 층의 표현을 신경 반응과 정렬하여 특정 STG 하위영역의 활동을 가장 잘 예측하는 네트워크 깊이를 식별하였다.

실험 결과

연구 질문

• RQ1 전방성 위상성 피각(STG)은 얕은 DNN 층에서 반영되는 저수준 음향 특징을 인코딩하는가?
• RQ2 후방성 위상성 피각(STG)은 깊은 DNN 층에서 반영되는 고수준 의미 특징을 인코딩하는가?
• RQ3 음악 특징의 계층적 처리를 반영하는 STG에 지도 기울기가 존재하는가?
• RQ4 DNN 표현이 음악 청취 중 인간 청각皮질의 신경 반응을 어느 정도 예측할 수 있는가?

주요 결과

• 위상성 피각(STG)의 전방-후방 축을 따라 표현 기울기가 발견되었다.
• 전방성 STG는 얕은 DNN 층과 더 높은 표현 유사도를 보였으며, 저수준 음향 특징에 민감함을 나타냈다.
• 후방성 STG는 깊은 DNN 층과 더 높은 표현 유사도를 보였으며, 고수준 의미 특징에 민감함을 나타냈다.
• DNN는 자동 음악 태깅 분야에서 최고 성능을 달성하여 그 표현 능력을 검증하였다.
• DNN 층 표현과 STG 하위영역 간의 정렬 결과는 DNN가 인간 뇌의 계층적 청각 처리를 모델링하는 데 유용하다는 것을 뒷받침한다.