[論文レビュー] Deep Auto-encoder with Neural Response

Xuming Ran, Jie Zhang+5 more|arXiv (Cornell University)|Nov 30, 2021

Neural dynamics and brain function参考文献 44被引用数 5

ひとこと要約

本稿では、生物学的神経パルスデータを深層オートエンコーダーに統合することで、画像再構築と神経応答予測を統合的に最適化する統一フレームワークであるDeep Auto-encoder with Neural Response (DAE-NR)を提案する。特定のエンコーダー層にポisson損失を適用し、実際の神経応答を予測させながら画像再構築を行うことで、DAE-NRはベースラインモデルと比較して優れた画像再構築性能と、人工神経細胞と生物学的神経細胞との間の高い表現類似性を達成する。

ABSTRACT

Artificial neural network (ANN) is a versatile tool to study the neural representation in the ventral visual stream, and the knowledge in neuroscience in return inspires ANN models to improve performance in the task. However, it is still unclear how to merge these two directions into a unified framework. In this study, we propose an integrated framework called Deep Autoencoder with Neural Response (DAE-NR), which incorporates information from ANN and the visual cortex to achieve better image reconstruction performance and higher neural representation similarity between biological and artificial neurons. The same visual stimuli (i.e., natural images) are input to both the mice brain and DAE-NR. The encoder of DAE-NR jointly learns the dependencies from neural spike encoding and image reconstruction. For the neural spike encoding task, the features derived from a specific hidden layer of the encoder are transformed by a mapping function to predict the ground-truth neural response under the constraint of image reconstruction. Simultaneously, for the image reconstruction task, the latent representation obtained by the encoder is assigned to a decoder to restore the original image under the guidance of neural information. In DAE-NR, the learning process of encoder, mapping function and decoder are all implicitly constrained by these two tasks. Our experiments demonstrate that if and only if with the joint learning, DAE-NRs can improve the performance of visual image reconstruction and increase the representation similarity between biological neurons and artificial neurons. The DAE-NR offers a new perspective on the integration of computer vision and neuroscience.

研究の動機と目的

• 画像再構築と人工神経細胞と生物学的神経細胞との間の表現類似性の両方を同時に向上させる統一フレームワークの開発。
• 従来のモデルが画像再構築の最適化または神経応答予測の最適化のいずれかに特化しているが、両方を統合的に最適化しないというギャップを解消すること。
• オートエンコーダー学習中にマウス視覚皮質からの実際の神経パルス応答を教師信号として活用すること。
• 人工神経細胞の表現を実際の皮質応答に一致させることで、深層ニューラルネットワークの生物学的妥当性と解釈可能性を向上させること。

提案手法

• DAE-NRフレームワークは、共有された潜在表現を通じて画像再構築と神経応答予測を統合的に学習する深層オートエンコーダーを採用する。
• 特定のエンコーダー層からの特徴量を、実際の神経パルス応答を予測するためのマッピング関数に変換し、画像再構築の目的関数によって制約を課す。
• 潜在表現を用いてデコーダーが元の画像を再構築し、再構築損失が意味のある特徴の学習を導く。
• 神経応答予測にポアソン損失を適用することで、スパイク活動の統計的性質をモデル化し、神経スパイクデータの性質に適合させる。
• エンコーダー、マッピング関数、デコーダーを再構築と神経応答予測の両方の目的関数に基づいて同時に学習する。
• フレームワークはマウス視覚皮質データを用いて評価され、生物学的脳とDAE-NRモデルの両方に自然画像を入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 画像再構築と神経応答予測の統合的学習は、画像再構築品質と神経表現類似性の両方を向上させることができるか？
• RQ2 実際の神経パルス応答を制約として組み込むことで、人工神経細胞と生物学的神経細胞との間の表現類似性はどのように変化するか？
• RQ3 神経応答予測にポアソン損失を用いることで、標準の回帰損失と比較して性能が向上するか？
• RQ4 神経応答データの統合は、オートエンコーダーに基づく画像再構築モデルのロバストネスと一般化性能を向上させるか？

主な発見

• DAE-NRは画像再構築性能を顕著に向上させ、Region 2（CAE-FRモデル）で平均PSNR 19.852を達成し、ベースラインオートエンコーダー（CAE：PSNR 17.289、VAE：PSNR 15.983）を上回る。
• モデルは生物学的神経細胞との表現類似性が最も高く、Region 3（VQ-VAE-FCモデル）でピークPCC 0.427を記録し、最良のベースライン（CNN-FR：PCC 0.359）を上回る。
• ポアソン損失を用いた統合的学習フレームワークは、全領域で標準オートエンコーダーと比較してPSNRが2.5–3.5 dB向上する。
• FM（因子分解型マッピング）ヘッドを搭載したDAE-NRモデルは、FC（全結合型）またはFR（因子分解型リーデアウト）ヘッドよりも高いPCC（最大0.427）を達成しており、生物学的応答との整合性が優れていることが示された。
• 再構築と神経応答予測の両方を同時に最適化することで、両タスクの性能が向上することが確認され、二重目的の相互利益が裏付けられた。
• このフレームワークは汎用的であり、VAE や VQ-VAE などの他のオートエンコーダー変種へも応用可能であり、霊長類や他の感覚モalityへの応用も可能性を有する。