[논문 리뷰] Supervised Autoencoders Learn Robust Joint Factor Models of Neural Activity.

Austin Talbot, David B. Dunson외 2명|arXiv (Cornell University)|2020. 04. 10.

Functional Brain Connectivity Studies참고 문헌 55인용 수 9

한 줄 요약

이 논문은 고차원 신경 예측 변수의 유연한 함수로 잠재 요인을 학습하는 지도 학습 기반 오토인코더 프레임워크를 제안하며, 뇌 활동에서 분산을 설명하고 행동 결과를 예측하는 데 공동 최적화한다. 전통적인 최대우도 인과 모델과는 달리, 이 함수 기반 접근법은 모델 잘못 설정에 대해 강건하며, 합성 및 실제 신경과학 데이터에서 행동 예측 성능이 뛰어나다.

ABSTRACT

Factor models are routinely used for dimensionality reduction in modeling of correlated, high-dimensional data. We are particularly motivated by neuroscience applications collecting high-dimensional `predictors' corresponding to brain activity in different regions along with behavioral outcomes. Joint factor models for the predictors and outcomes are natural, but maximum likelihood estimates of these models can struggle in practice when there is model misspecification. We propose an alternative inference strategy based on supervised autoencoders; rather than placing a probability distribution on the latent factors, we define them as an unknown function of the high-dimensional predictors. This mapping function, along with the loadings, can be optimized to explain variance in brain activity while simultaneously being predictive of behavior. In practice, the mapping function can range in complexity from linear to more complex forms, such as splines or neural networks, with the usual tradeoff between bias and variance. This approach yields distinct solutions from a maximum likelihood inference strategy, as we demonstrate by deriving analytic solutions for a linear Gaussian factor model. Using synthetic data, we show that this function-based approach is robust against multiple types of misspecification. We then apply this technique to a neuroscience application resulting in substantial gains in predicting behavioral tasks from electrophysiological measurements in multiple factor models.

연구 동기 및 목표

• 신경 활동과 행동의 공동 요인 모델에서 최대우도 추론의 한계, 특히 모델 잘못 설정 상황에서의 문제를 해결하기 위해.
• 신경 활동 분산을 설명하고 행동 결과를 예측할 수 있도록 동시에 작용하는 잠재 요인을 학습하기 위한 유연하고 함수 기반의 접근법을 개발하기 위해.
• 모델 잘못 설정이 존재하는 상황에서 기존 요인 모델에 비해 더 뛰어난 강건성과 예측 성능을 보여주기 위해.
• 신경과학 분야에서 고차원 신경 예측 변수와 행동 결과를 공동으로 모델링하기 위한 실용적이고 확장 가능한 방법을 제공하기 위해.

제안 방법

• 잠재 요인을 고차원 신경 예측 변수의 알려지지 않은 함수로 정의하며, 이를 위해 그들 위에 파라미터화된 분포를 가정하지 않는다.
• 인코더가 예측 변수를 잠재 요인으로 매핑하고 디코더가 신경 활동을 재구성하는 지도 학습 기반 오토인코더를 훈련하며, 별도의 헤드를 통해 행동 결과를 예측한다.
• 신경 데이터의 재구성 오차와 행동 결과의 예측 오차를 동시에 최소화하도록 인코더와 적재량을 공동 최적화한다.
• 인코더 함수가 선형에서 복잡한 형태(예: 스퍼라인, 신경망)까지 다양하게 변할 수 있도록 하여 편향과 분산의 균형을 맞춘다.
• 선형 가우시안 케이스에 대해 분석적 해를 유도하여 최대우도 추론과 비교한다.
• 다양한 유형의 모델 잘못 설정에 대한 강건성을 평가하기 위해 합성 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 함수 기반 요인 모델은 모델 잘못 설정에 대해 최대우도 추론에 비해 어떻게 강건한가?
• RQ2 지속적인 오토인코더 프레임워크는 기존의 공동 요인 모델보다 신경 활동 재구성과 행동 예측을 더 효과적으로 공동 최적화할 수 있는가?
• RQ3 인코더 함수의 복잡성 변화(예: 선형 대 비선형)가 예측 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 행동 작업 예측에서 실제 전기생리학적 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 함수 기반 접근법은 모델 잘못 설정이 존재할 경우 최대우도 추론과 다른 해를 도출한다.
• 합성 실험을 통해 이 방법이 다양한 유형의 모델 잘못 설정에 대해 강건하며, 기존의 우도 기반 방법보다 뛰어난 성능을 보임을 입증했다.
• 실제 신경과학 데이터에서, 지도 학습 기반 오토인코더 접근법은 전기생리학적 측정치로부터 행동 작업을 예측하는 데 상당한 성능 향상을 이뤘다.
• 기존의 요인 모델에 비해 예측 정확도가 향상된 바탕으로, 이 방법은 신경 예측 변수와 행동 결과를 공동으로 모델링할 수 있다.