[論文レビュー] Dissimilarity learning via Siamese network predicts brain imaging data

Aakash Agrawal|arXiv (Cornell University)|Jul 1, 2019

Neural dynamics and brain function参考文献 13被引用数 4

ひとこと要約

この論文は、神経的不一致データを直接学習することで脳イメージング応答を予測する、シアンプスネットワークに基づく不一致学習フレームワークを提案する。対照的損失を変更し、画像ペアの特徴量間の相関距離を予測するようにすることで、特に早期視覚皮質（EVC）および遅刻性側頭葉（IT）応答において、信号対雑音比の高い神経データにおいて、標準的な分類ベースのアプローチを上回る最先端の性能を達成した。

ABSTRACT

The advent of deep learning has a profound effect on visual neuroscience. It paved the way for new models to predict neural data. Although deep convolutional neural networks are explicitly trained for categorization, they learn a representation similar to a biological visual system. But categorization is not the only goal of the human visual system. Hence, the representation of a classification algorithm may not completely explain the visual processing stages. Here, I modified the traditional Siamese network loss function (Contrastive loss) to train them directly on neural dissimilarity. This network takes image pair as input and predicts the correlation distance between their output features. For Algonauts challenge, using dissimilarity learning, I fine-tuned the initial layers of Alexnet to predict MEG early response/EVC data and all the layers of VGG-16 to predict MEG late response/IT data. This approach is ideal for datasets with high SNR. Therefore, my model achieved state-of-the-art performance on MEG dataset but not fMRI.

研究の動機と目的

• 分類ベースの表現に依存せず、神経的不一致を直接モデル化する深層学習フレームワークの開発を目的とする。
• 画像ペア間の相関距離を学習することで、特にMEEGデータの脳イメージング応答の予測を向上させることを目的とする。
• 標準的なCNNが分類の最適化を図るが、視覚処理の機能的階層を完全に捉えていないという限界に対処することを目的とする。
• 不一致学習が、従来の分類目的に最適化された表現学習よりも、生物学的視覚処理段階とより整合するかどうかを検討することを目的とする。
• 信号対雑音比が高いため、特にMEEGデータにおいて性能を評価し、fMRI（信号対雑音比が低い）と比較することを目的とする。

提案手法

• 画像ペアの特徴埋め込み間の相関距離を予測するために、シアンプスネットワークを応用し、変更された対照的損失関数を用いる。
• 画像ペアを入力として、その深層特徴量間の予測不一致（相関距離）が出力となるように、ネットワークをエンドツーエンドで学習する。
• AlexNetの初期層を微調整してMEEG早期応答（EVC）データを予測し、VGG-16の全層を微調整してMEEG遅刻応答（IT）データを予測する。
• 分類精度ではなく、特徴空間における意味のある不一致の学習を重視するように、再重み付けされた対照的損失関数を用いる。
• 神経的不一致の直接回帰を最適化することで、実際の脳応答パターンと整合する表現を学習可能にする。
• 訓練済みモデルを用いて脳イメージングデータ（特に信号対雑音比の高いMEEG記録）からの神経応答を予測する。

実験結果

リサーチクエスチョン

• RQ1 神経的不一致で学習したシアンプスネットワークは、分類ベースのモデルを上回り、脳イメージング応答を予測する上で優れた性能を示すか？
• RQ2 直接的な不一致学習は、分類に最適化された表現学習よりも、人間の視覚系の機能的組織をよりよく捉えられるか？
• RQ3 不一致学習の性能は、信号対雑音比の高い（MEEG）と低い（fMRI）神経イメージングモodalitiesの間でどのように異なるか？
• RQ4 事前学習済みネットワーク（例：AlexNet, VGG-16）の微調整は、特定の脳領域（EVC 対 IT）の予測をどの程度向上できるか？
• RQ5 変更された対照的損失関数は、神経的特徴表現間の相関距離を予測するようにネットワークを効果的に学習可能か？

主な発見

• 提案された不一致学習アプローチは、特に早期視覚皮質（EVC）および遅刻性側頭葉（IT）応答において、MEEGデータセットで最先端の性能を達成した。
• 信号対雑音比の高い（SNR）MEEGデータにおいて、標準的な分類ベースのアプローチを上回った。これは、高品質な神経記録に適したことを示唆している。
• AlexNetの初期層の微調整により、MEEG早期応答（EVC）データの予測が向上した。これは、早期視覚処理段階と整合していることを示唆している。
• VGG-16の全層の微調整により、MEEG遅刻応答（IT）データの予測が向上した。これは、高レベルの視覚処理を効果的にモデル化できていることを示している。
• fMRIデータでは最先端の性能を達成できなかった。これは、fMRIの信号対雑音比が低いため、不一致ベースの学習の有効性が制限されるためと考えられる。
• 変更された対照的損失関数は、実際の神経応答と相関する意味のある不一致表現を学習可能にした。