[논문 리뷰] Enabling hyperparameter optimization in sequential autoencoders for spiking neural data

Mohammad Reza Keshtkaran, Chethan Pandarinath|arXiv (Cornell University)|2019. 01. 01.

Neural dynamics and brain function인용 수 8

한 줄 요약

이 논문은 희박하고 제한된 스파iking 신경 데이터에 적용할 때 순차적 오토인코더(SAEs)에서 과적합을 완화하기 위해 초모수 최적화(HPO) 기법—샘플 검증과 공유포(dropout)—을 도입한다. 효과적인 HPO를 통해 SAEs는 작고 제한된 데이터셋에서도 견고한 성능을 달성하며, 신경 집단 활동에서 잠재 역학을 추출하는 데 있어 그 활용 가능성을 크게 확장한다.

ABSTRACT

Continuing advances in neural interfaces have enabled simultaneous monitoring of spiking activity from hundreds to thousands of neurons. To interpret these large-scale data, several methods have been proposed to infer latent dynamic structure from high-dimensional datasets. One recent line of work uses recurrent neural networks in a sequential autoencoder (SAE) framework to uncover dynamics. SAEs are an appealing option for modeling nonlinear dynamical systems, and enable a precise link between neural activity and behavior on a single-trial basis. However, the very large parameter count and complexity of SAEs relative to other models has caused concern that SAEs may only perform well on very large training sets. We hypothesized that with a method to systematically optimize hyperparameters (HPs), SAEs might perform well even in cases of limited training data. Such a breakthrough would greatly extend their applicability. However, we find that SAEs applied to spiking neural data are prone to a particular form of overfitting that cannot be detected using standard validation metrics, which prevents standard HP searches. We develop and test two potential solutions: an alternate validation method (“sample validation”) and a novel regularization method (“coordinated dropout”). These innovations prevent overfitting quite effectively, and allow us to test whether SAEs can achieve good performance on limited data through large-scale HP optimization. When applied to data from motor cortex recorded while monkeys made reaches in various directions, large-scale HP optimization allowed SAEs to better maintain performance for small dataset sizes. Our results should greatly extend the applicability of SAEs in extracting latent dynamics from sparse, multidimensional data, such as neural population spiking activity.

연구 동기 및 목표

• 제한된 스파크링 신경 데이터에서 학습할 때 순차적 오토인코더(SAEs)에서 발생하는 과적합 문제를 해결하기 위해.
• 기본 검증 지표가 SAEs에서 과적합을 감지하지 못함에도 불구하고 작동하는 신뢰할 수 있는 초모수 최적화(HPO) 방법을 개발하기 위해.
• 새로운 검증 및 정규화 기법을 통해 효과적인 HPO를 가능하게 하여 SAEs의 작동 가능성을 작은 데이터셋으로까지 확장하기 위해.
• 대규모 HPO를 통해 SAEs가 희박하고 다차원적인 신경 스파크링 데이터에서 높은 성능을 유지를할 수 있는지 테스트하기 위해.

제안 방법

• 표준 검증 방식의 대안으로 '샘플 검증'을 제안하며, 시간적 분할이 아닌 보류된 샘플을 기반으로 모델 성능을 평가하여 SAEs에서 과적합을 더 잘 감지할 수 있도록 한다.
• 에코더와 디코더에서 동시에 적용되는 동기화된 방식의 정규화 기법인 '공유포'를 도입하여 SAEs의 일반화 성능을 향상시킨다.
• 제안된 검증 및 정규화 기법을 활용해 다수의 SAE 아키텍처에 걸쳐 대규모 초모수 최적화(HPO)를 수행한다.
• 최적화된 SAEs를 원숭이의 운동 피질에서의 움직임 작업 동안의 신경 스파크링 데이터에 적용하여 작은 학습 세트에서의 성능을 평가한다.
• 고차원 스파크링 활동에서 저차원 잠재 역학을 추론하고, 이를 단일 시험 기반의 행동 출력과 연결한다.

실험 결과

연구 질문

• RQ1 초모수 최적화가 스파크링 신경 활동의 작은 데이터셋에서 순차적 오토인코더(SAEs)의 성능을 향상시킬 수 있는가?
• RQ2 표준 검증이 스파크링 데이터에서 학습된 SAEs에서 과적합을 감지하지 못하는가, 그리고 만약 그렇다면 그 이유는 무엇인가?
• RQ3 샘플 검증과 공유포가 SAEs의 과적합을 효과적으로 완화할 수 있는가?
• RQ4 초모수를 체계적으로 최적화할 경우 SAEs가 제한된 데이터에서 얼마나 오랫동안 성능을 유지할 수 있는가?

주요 결과

• 스파크링 데이터의 시간적 구조로 인해 표준 검증이 실패하는 상황에서 샘플 검증은 SAEs에서 과적합을 성공적으로 감지한다.
• 에코더와 디코더에서 동시에 적용되는 동기화된 정규화를 통해 공유포는 SAEs의 일반화 성능을 크게 향상시켜 과적합을 감소시킨다.
• 제안된 방법을 사용한 대규모 초모수 최적화를 통해 SAEs는 작고 제한된 학습 데이터셋에서도 강력한 성능을 유지할 수 있다.
• 움직임 작업 중의 원숭이 운동 피질 스파크링 데이터에서 최적화된 SAEs가 기준 모델보다 더 잘 잠재 역학을 포착하는 것으로 나타났다.
• 샘플 검증과 공유포의 조합은 SAEs가 희박하고 다차원적인 신경 데이터에 신뢰성 있게 적용될 수 있도록 하여 실용적 활용 가능성을 넓혔다.