[论文解读] Context-dependent manifold learning: A neuromodulated constrained autoencoder approach

Jérôme Adriaens, Guillaume Drion+1 more|arXiv (Cornell University)|Mar 12, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

该论文引入了神经调制约束自编码器（NcAE），通过一个上下文驱动的超网络调制激活斜率和偏置，以在不同上下文下保留幂等投影，具有可证明的保证并在动态系统上展现出强劲的经验表现。

ABSTRACT

Constrained autoencoders (cAE) provide a successful path towards interpretable dimensionality reduction by enforcing geometric structure on latent spaces. However, standard cAEs cannot adapt to varying physical parameters or environmental conditions without conflating these contextual shifts with the primary input. To address this, we integrated a neuromodulatory mechanism into the cAE framework to allow for context-dependent manifold learning. This paper introduces the Neuromodulated Constrained Autoencoder (NcAE), which adaptively parameterizes geometric constraints via gain and bias tuning conditioned on static contextual information. Experimental results on dynamical systems show that the NcAE accurately captures how manifold geometry varies across different regimes while maintaining rigorous projection properties. These results demonstrate that neuromodulation effectively decouples global contextual parameters from local manifold representations. This architecture provides a foundation for developing more flexible, physics-informed representations in systems subject to (non-stationary) environmental constraints.

研究动机与目标

• 解决如何在保持约束自编码器的幂等投影属性的前提下学习上下文相关的流形。
• 提供一种神经调制机制，在不破坏编码器–解码器反演关系的情况下调制激活斜率和偏置。
• 在未见上下文中证明几何保证（幂等性、同胚不变性和 Lipschitz 稳定性）。
• 在高维动态系统上对 NcAE 进行经验验证，并在重建和几何度量方面与基线进行比较。

提出的方法

• 采用受约束自编码器（cAE）原理，使编码器成为解码器的左逆（ρ∘φ = idRm），以获得幂等的重构映射 P = φ∘ρ。
• 引入一个上下文驱动的超网络，在每一层调制激活斜率（α）和偏置（β），同时保持双正交权重固定以保留幂等性。
• 从共享上下文嵌入 s = fmd(c; θ) 以及层特定映射中计算每层的 (α(l), β(l))，确保 α(l) 落在有效区间且 β(l) 不受约束。
• 在光滑调制下给出理论 guarenties：幂等性 Pc^2 = Pc、在不同上下文下学习到的流形的可同胚不变量性，以及在上下文扰动下的 Lipschitz 稳定性。
• 在具有上下文相关耦合的六自由度摆以及分叉处的 Lorenz96 上训练并评估 NcAE，与六个基线比较，这些基线在条件化和约束选择上进行分离。

实验结果

研究问题

• RQ1 上下文调制自动编码器是否能在变化的外部上下文中保持幂等投影？
• RQ2 上下文相关的流形是否保持可同胚且对微小上下文变化（包括未见上下文）具有鲁棒性？
• RQ3 相较于输入级联或 FiLM 风格的条件化，神经调制的斜率和偏置调制是否更能保持投影几何？
• RQ4 在噪声和分布外上下文下，NcAE 在重建精度和潜在几何方面相对于基线的表现如何？

主要发现

摆 Position RMSE	摆 Velocity RMSE	Lorenz96 Position RMSE	Lorenz96 Velocity RMSE
cAE	0.049±0.001	0.220±0.002	0.468±0.25	0.653±0.1
Context-cAE	0.054±0.001	0.226±0.001	0.319±0.254	0.644±0.204
AE	0.050±0.001	2.252±3.506	0.177±0.090	18.634±8.044
Context-AE	0.051±0.002	0.883±0.803	0.237±0.046	11.137±2.797
FiLM+AE	0.008±0.01	0.348±0.754	0.323±0.073	2.825±2.676
SoftNcAE	0.026±0.005	0.114±0.019	0.748±0.227	2.238±0.543
NcAE (ours)	0.012±0.002	0.059±0.003	0.079±0.05	0.329±0.186

• NcAE 在摆和 Lorenz96 系统上实现了最佳或接近最佳的重建，在 Lorenz96 的分叉处速度误差显著较低。
• 对于每个上下文（包括未见上下文），幂等性都是通过构造保持的，幂等误差接近零（约1e-5）。
• NcAE 具有最各向同性的潜在几何（最低的潜在空间条件数）以及最均匀的投影动力学（最低的潜在速度 CV），在基线中最优。
• 硬性双正交性强制执行（不仅仅是惩罚项）对稳定的幂等性至关重要；软约束导致漂移和不稳定性更高。
• 消融实验表明斜率和偏置调制都对性能有贡献；两者结合时误差最低且稳定性最好。
• NcAE 在分布外上下文和观测噪声下下降表现较为温和，与 Lipschitz 稳定性保证一致。