[論文レビュー] Context-dependent manifold learning: A neuromodulated constrained autoencoder approach

Jérôme Adriaens, Guillaume Drion+1 more|arXiv (Cornell University)|Mar 12, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

本論文は、文脈駆動のハイパーネットワークを介して活性化勾配とバイアスを調整し、文脈間で冪等な射影を維持することを目指す Neuro-modulated Constrained Autoencoder（NcAE）を提案する。定理的保証と動的システムへの堅牢な経験的性能を提供。

ABSTRACT

Constrained autoencoders (cAE) provide a successful path towards interpretable dimensionality reduction by enforcing geometric structure on latent spaces. However, standard cAEs cannot adapt to varying physical parameters or environmental conditions without conflating these contextual shifts with the primary input. To address this, we integrated a neuromodulatory mechanism into the cAE framework to allow for context-dependent manifold learning. This paper introduces the Neuromodulated Constrained Autoencoder (NcAE), which adaptively parameterizes geometric constraints via gain and bias tuning conditioned on static contextual information. Experimental results on dynamical systems show that the NcAE accurately captures how manifold geometry varies across different regimes while maintaining rigorous projection properties. These results demonstrate that neuromodulation effectively decouples global contextual parameters from local manifold representations. This architecture provides a foundation for developing more flexible, physics-informed representations in systems subject to (non-stationary) environmental constraints.

研究の動機と目的

• 制約付きオートエンコーダの射影性（冪等性）特性を保持しつつ、文脈依存の多様体を学習する方法を提案する。
• エンコーダとデコーダの逆関係を崩さずに活性化勾配とバイアスを調整するニューロモジュレーション機構を提供する。
• 未知の文脈に対しても幾何学的保証（冪等性、微分同相不変性、リプシッツ安定性）を証明する。
• NcAEを高次元の動的システムで経験的に検証し、再構成・幾何の指標でベースラインと比較する。

提案手法

• エンコーダをデコーダの左逆（ρ∘φ = idRm）として機能させ、冪等な再構成写像 Pc = φ∘ρ を得る。
• 文脈駆動のハイパーネットワークを導入し、各層ごとに活性化勾配（α）とバイアス（β）を調整する一方で、双直交性の重みを固定して冪等性を保持する。
• 共有文脈埋め込み s = fmd(c; θ) と層固有の写像から各層の（α(l)、β(l)）を計算し、α(l) を有効範囲に、β(l) を無制約に保つ。
• 滑らかなモジュレーションの下での理論的保証：冪等性 Pc^2 = Pc、文脈間で学習された多様体の微分同相不変性、文脈の摂動下でのリプシッツ安定性。
• 文脈依存結合と制約選択を分離する6つのベースラインと比較した上で、16自由度ペンデュラムとLorenz96の分岐における NcAE の訓練・評価。

実験結果

リサーチクエスチョン

• RQ1 文脈で変化する外部環境に対して、文脈調整オートエンコーダは冪等射影を保てるか。
• RQ2 未知の文脈を含む小さな文脈変化に対して、文脈依存の多様体は微分同相であり頑健であり得るか。
• RQ3 勾配斜率とバイアスのニューロモジュレーションは、入力連結やFiLM風条件付けよりも射影幾何を維持できるか。
• RQ4 NcAE はノイズや分布外の文脈下で、基礎手法と比較して再構成精度と潜在幾何の性能をどう示すか。

主な発見

Pendulum Position RMSE	Pendulum Velocity RMSE	Lorenz96 Position RMSE	Lorenz96 Velocity RMSE
cAE	0.049±0.001	0.220±0.002	0.468±0.25	0.653±0.1
Context-cAE	0.054±0.001	0.226±0.001	0.319±0.254	0.644±0.204
AE	0.050±0.001	2.252±3.506	0.177±0.090	18.634±8.044
Context-AE	0.051±0.002	0.883±0.803	0.237±0.046	11.137±2.797
FiLM+AE	0.008±0.01	0.348±0.754	0.323±0.073	2.825±2.676
SoftNcAE	0.026±0.005	0.114±0.019	0.748±0.227	2.238±0.543
NcAE (ours)	0.012±0.002	0.059±0.003	0.079±0.05	0.329±0.186

• NcAE はペンデュラムと Lorenz96 系において最高またはほぼ最高の再構成性能を達成し、Lorenz96 の分岐全域で速度誤差が顕著に小さい。
• 冪等性はすべての文脈（未知を含む）に対して構成により保持され、ほぼゼロの冪等誤差（約1e-5）を示す。
• NcAE は最も等方性が高い潜在幾何と、最も均質な射影ダイナミクスを達成し、他のベースラインより優れている。
• 硬い双直交性の強制（ペナルティではなく確実な制約）は安定した冪等性に不可欠であり、ソフト制約はドリフトと不安定性を生みやすい。
• アブレーションにより、勾配とバイアスの両方のモジュレーションが性能に寄与することが示され、両方を組み合わせると誤差が最も小さく安定性が保たれる。
• NcAE は分布外の文脈や観測ノイズ下で劣化が緩やかであり、リプシッツ安定性の保証と整合する。