[論文レビュー] Brains on Beats

Umut Güçlü, Jordy Thielen+2 more|arXiv (Cornell University)|Jun 8, 2016

Neural dynamics and brain function参考文献 29被引用数 14

ひとこと要約

本研究では、自動音楽タグ付けタスクに最適化された深層ニューラルネットワーク（DNN）を開発し、人間の脳における音楽の神経表現を解明した。表現類似性解析により、上側頭回（STG）に勾配が存在することが明らかになった：前部STGは浅いDNN層からの低レベル特徴を表現しており、後部STGは深いDNN層からの高レベル特徴を表現している。

ABSTRACT

We developed task-optimized deep neural networks (DNNs) that achieved state-of-the-art performance in different evaluation scenarios for automatic music tagging. These DNNs were subsequently used to probe the neural representations of music. Representational similarity analysis revealed the existence of a representational gradient across the superior temporal gyrus (STG). Anterior STG was shown to be more sensitive to low-level stimulus features encoded in shallow DNN layers whereas posterior STG was shown to be more sensitive to high-level stimulus features encoded in deep DNN layers.

研究の動機と目的

• 自動音楽タグ付けタスクに最適化された深層ニューラルネットワーク（DNN）の開発。
• 人間の脳における音楽の神経表現がDNNの階層的特徴とどのように対応するかの調査。
• 音楽特徴への応答において、上側頭回（STG）の前後軸に沿った機能的特化のマップ作成。
• DNNが音楽認識の神経認知的モデルとして機能できるかどうかの特定。

提案手法

• 音楽タグ付けデータセットでタスク最適化されたDNNを訓練し、階層的特徴表現を生成。
• DNNの異なる層からの活性化パターンを抽出し、浅い層は低レベルの音響的特徴を、深い層は高レベルの意味的特徴を捉える。
• 参加者が音楽を聴いている際の機能的MRIデータを取得し、上側頭回（STG）における神経活動を測定。
• DNN特徴表現とSTGにおける神経活動パターンを比較するため、表現類似性解析（RSA）を実施。
• STGの前後軸に沿った表現感受性の空間的勾配をマッピング。
• DNN層の表現と神経応答を一致させ、特定のSTG領域における活性化を最もよく予測するネットワークの深さを同定。

実験結果

リサーチクエスチョン

• RQ1 浅いDNN層に反映される低レベルの音楽音響的特徴は、上側頭回（STG）の前部がそれを表現しているか？
• RQ2 深いDNN層に反映される高レベルの意味的特徴は、上側頭回（STG）の後部がそれを表現しているか？
• RQ3 音楽特徴の階層的処理を反映するように、STGにトポグラフィー的勾配が存在するか？
• RQ4 DNN表現は、音楽聴取時のヒト聴覚皮質における神経応答をどの程度よく予測できるか？

主な発見

• 上側頭回（STG）の前後軸に沿って表現の勾配が確認された。
• 前部STGは浅いDNN層と高い表現類似性を示し、低レベルの音響的特徴への感受性を示している。
• 後部STGは深いDNN層と高い表現類似性を示し、高レベルの意味的特徴への感受性を示している。
• DNNは自動音楽タグ付けにおいて最先端のパフォーマンスを達成しており、その表現能力が裏付けられた。
• DNN層の表現とSTG領域との一致は、DNNがヒト脳における階層的聴覚処理のモデルとして有効であることを支持している。