[論文レビュー] Supervised Autoencoders Learn Robust Joint Factor Models of Neural Activity.

Austin Talbot, David B. Dunson+2 more|arXiv (Cornell University)|Apr 10, 2020

Functional Brain Connectivity Studies参考文献 55被引用数 9

ひとこと要約

本論文は、高次元のニューラル予測子の柔軟な関数としての潜在要因を学習する教師ありオートエンコーダフレームワークを提案する。このフレームワークは、脳活動の分散説明と行動的アウトカムの予測を同時に最適化する。従来の最尤推定要因モデルとは異なり、この関数ベースのアプローチはモデル不適合に対して頑健であり、合成および実際の神経科学データにおいて優れた行動予測を達成する。

ABSTRACT

Factor models are routinely used for dimensionality reduction in modeling of correlated, high-dimensional data. We are particularly motivated by neuroscience applications collecting high-dimensional `predictors' corresponding to brain activity in different regions along with behavioral outcomes. Joint factor models for the predictors and outcomes are natural, but maximum likelihood estimates of these models can struggle in practice when there is model misspecification. We propose an alternative inference strategy based on supervised autoencoders; rather than placing a probability distribution on the latent factors, we define them as an unknown function of the high-dimensional predictors. This mapping function, along with the loadings, can be optimized to explain variance in brain activity while simultaneously being predictive of behavior. In practice, the mapping function can range in complexity from linear to more complex forms, such as splines or neural networks, with the usual tradeoff between bias and variance. This approach yields distinct solutions from a maximum likelihood inference strategy, as we demonstrate by deriving analytic solutions for a linear Gaussian factor model. Using synthetic data, we show that this function-based approach is robust against multiple types of misspecification. We then apply this technique to a neuroscience application resulting in substantial gains in predicting behavioral tasks from electrophysiological measurements in multiple factor models.

研究の動機と目的

• 神経活動と行動の共同要因モデルにおける最尤推定の限界、特にモデル不適合下での限界を解決すること。
• 神経活動の分散を説明し、行動的アウトカムを予測するという2つの目的を同時に達成できる、柔軟な関数ベースの潜在要因学習手法を開発すること。
• モデル不適合の存在下でも、標準的な要因モデルと比較して、より高い頑健性と予測性能を示すことを実証すること。
• 神経科学分野における高次元のニューラル予測子と行動的アウトカムの共同モデリングに実用的でスケーラブルな手法を提供すること。

提案手法

• 潜在要因を、それらの周囲にパrametricな分布を仮定するのではなく、高次元のニューラル予測子の未知関数として定義する。
• エンコーダが予測子を潜在要因にマップし、デコーダがニューラル活動を再構築する教師ありオートエンコーダを訓練する。行動的アウトカムの予測には別個のヘッドを設ける。
• ニューラルデータの再構築誤差と行動的アウトカムの予測誤差を最小化するように、エンコーダと負荷係数を同時に最適化する。
• エンコーダ関数を線形から複雑な形（例：スプライン、ニューラルネットワーク）まで範囲を広げ、バイアスと分散のバランスを取る。
• 線形ガウス分布の場合の解析解を導出し、最尤推定と比較する。
• 合成データを用いて、さまざまなタイプのモデル不適合に対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 関数ベースの要因モデルは、モデル不適合に対する頑健性という観点から、最尤推定と比べてどのように異なるか？
• RQ2 教師ありオートエンコーダフレームワークは、標準的な共同要因モデルと比較して、ニューラル活動の再構築と行動的予測の両方をより効果的に最適化できるか？
• RQ3 エンコーダ関数の複雑さ（例：線形対非線形）を変化させた場合、予測性能と頑健性にどのような影響を与えるか？
• RQ4 本手法は、実際の電気生理学的データにおいて、行動タスクの予測にどの程度効果を発揮するか？

主な発見

• 提案された関数ベースのアプローチは、モデル不適合が生じる状況においても、最尤推定とは明確に異なる解を得る。
• 合成実験により、本手法が複数のタイプのモデル不適合に対して頑健であることが示され、標準的な尤度ベース手法を上回る性能を発揮する。
• 実際の神経科学データにおいて、本手法は電気生理学的測定値から行動タスクを予測する際に顕著な向上を達成する。
• 本手法は、従来の要因モデルと比較して、神経予測子と行動的アウトカムの共同モデリングを、より高い予測精度で可能にする。