[論文レビュー] Enabling hyperparameter optimization in sequential autoencoders for spiking neural data

Mohammad Reza Keshtkaran, Chethan Pandarinath|arXiv (Cornell University)|Jan 1, 2019

Neural dynamics and brain function被引用数 8

ひとこと要約

本論文は、スパarsな限られたスパイクニューラルデータに対して順序付き自己符号化器（SAE）を適用する際の過学習を克服するため、ハイパーパramータ最適化（HPO）手法—サンプルバリデーションと協調ドロップアウト—を導入する。効果的なHPOを可能にすることで、SAEは小さなデータセットでさえも頑健な性能を発揮し、神経集団活動から潜在的ダイナミクスを抽出する応用範囲を著しく拡大する。

ABSTRACT

Continuing advances in neural interfaces have enabled simultaneous monitoring of spiking activity from hundreds to thousands of neurons. To interpret these large-scale data, several methods have been proposed to infer latent dynamic structure from high-dimensional datasets. One recent line of work uses recurrent neural networks in a sequential autoencoder (SAE) framework to uncover dynamics. SAEs are an appealing option for modeling nonlinear dynamical systems, and enable a precise link between neural activity and behavior on a single-trial basis. However, the very large parameter count and complexity of SAEs relative to other models has caused concern that SAEs may only perform well on very large training sets. We hypothesized that with a method to systematically optimize hyperparameters (HPs), SAEs might perform well even in cases of limited training data. Such a breakthrough would greatly extend their applicability. However, we find that SAEs applied to spiking neural data are prone to a particular form of overfitting that cannot be detected using standard validation metrics, which prevents standard HP searches. We develop and test two potential solutions: an alternate validation method (“sample validation”) and a novel regularization method (“coordinated dropout”). These innovations prevent overfitting quite effectively, and allow us to test whether SAEs can achieve good performance on limited data through large-scale HP optimization. When applied to data from motor cortex recorded while monkeys made reaches in various directions, large-scale HP optimization allowed SAEs to better maintain performance for small dataset sizes. Our results should greatly extend the applicability of SAEs in extracting latent dynamics from sparse, multidimensional data, such as neural population spiking activity.

研究の動機と目的

• 限られたスパイクニューラルデータ上で訓練する際の順序付き自己符号化器（SAE）における過学習の課題に対処すること。
• 標準のバリデーション指標がSAEの過学習を検出できない場合に備えて、信頼性の高いハイパーパramータ最適化（HPO）手法を開発すること。
• 新しいバリデーションおよび正則化手法を通じて、効果的なHPOを可能にすることで、SAEの小規模データへの適用可能性を拡大すること。
• 大規模なHPOを通じて、SAEがスパarsで多次元の神経スパイクデータにおいても高い性能を維持できるかどうかを検証すること。

提案手法

• 標準のバリデーションとは異なり、時間的スプリットではなく保持済みのサンプルを用いてモデル性能を評価する『サンプルバリデーション』を提案し、SAEにおける過学習をより効果的に検出できるようにする。
• エンコーダーとデコーダーの両方に同期的にドロップアウトを適用する正則化手法『協調ドロップアウト』を導入し、SAEにおける一般化性能を向上させる。
• 提案されたバリデーションおよび正則化手法を用いて、複数のSAEアーキテクチャにおける大規模なハイパーパramータ最適化（HPO）を実施する。
• 最適化されたSAEをサルの運動皮質における到達行動中の神経スパイクデータに適用し、小規模な訓練データセットでの性能を評価する。
• SAEを用いて高次元のスパイク活動から低次元の潜在的ダイナミクスを推定し、個々の試行単位で行動出力と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパramータ最適化は、スパイクニューラル活動の小規模データセットにおいて順序付き自己符号化器（SAE）の性能を向上させることができるか？
• RQ2 標準のバリデーションは、スパイクデータで訓練されたSAEにおいて過学習を検出できない場合があるが、その理由は何か？
• RQ3 サンプルバリデーションと協調ドロップアウトは、神経データにおけるSAEの過学習を効果的に緩和できるか？
• RQ4 ハイパーパramータを体系的に最適化した場合、SAEはどの程度まで限られたデータでも性能を維持できるか？

主な発見

• スパイクデータの時間的構造のため、標準のバリデーションが過学習を検出できないのに対し、サンプルバリデーションはその過学習を効果的に検出できた。
• 協調ドロップアウトは、エンコーダーとデコーダーの両方に同期的に正則化を適用することで、過学習を低減し、SAEにおける一般化性能を著しく向上させた。
• 提案手法を用いた大規模なハイパーパramータ最適化により、SAEは小さな訓練データセットでも強力な性能を維持できた。
• 到達行動中のサルの運動皮質スパイクデータにおいて、最適化されたSAEは、限られたデータでもベースラインモデルを上回る性能で潜在的ダイナミクスを捉えた。
• サンプルバリデーションと協調ドロップアウトの組み合わせにより、SAEはスパarsで多次元の神経データに信頼性高く適用可能となり、実用的応用範囲が拡大された。