[論文レビュー] Optimal Memory Encoding Through Fluctuation-Response Structure

Lianxiang CUI, Kohei Nakajima+1 more|arXiv (Cornell University)|Mar 23, 2026

Neural Networks and Reservoir Computing被引用数 0

ひとこと要約

ROME は入力特徴を系の揺らぎと線形応答に揃えることでリザーバ計算における memory の最適入力エンコード方向を特定し、エンコーダ最適化におけるバックプロパゲーションとの等価性を示す。

ABSTRACT

Physical reservoir computing exploits the intrinsic dynamics of physical systems for information processing, while keeping the internal dynamics fixed and training only linear readouts; yet the role of input encoding remains poorly understood. We show that optimal input encoding is a geometric problem governed by the system's fluctuation-response structure. By measuring steady-state fluctuations and linear response, we derive an analytical criterion for the input direction that maximizes task-specific linear memory under a fixed power constraint, termed Response-based Optimal Memory Encoding (ROME). Backpropagation-based encoder optimization is shown to be equivalent to ROME, revealing a trade-off between task-dependent feature mixing and intrinsic noise. We apply ROME to various reservoir platforms, including spin-wave waveguides and spiking neural networks, demonstrating effective encoder design across physical and neuromorphic reservoirs, even in non-differentiable systems.

研究の動機と目的

• リザーバの固有の揺らぎ-応答構造に依存する入力エンコードとリザーバ課題適合性の動機づけ。
• 入力パワー制約の下でタスク固有の線形 memory を最大化するための幾何的基準（ROME）を提案。
• バックプロパゲーションに基づくエンコーダ最適化がROME基準と同等であることを示す。
• ROME の物理的リザーバや非微分可能な系への適用性を示す。

提案手法

• リザーバを x(t) を状態とするノイズ系としてモデル化し、ẋ = f(x) + G u + ξ、定常参照共分散 Σ_ref を用いる。
• memory 関数 MF(τ;G) を共分散と応答 R(τ) から定義し、タスクスペクトル w(τ) で重み付けして J_w(G) を形成する。
• 入力パワー一定の下で J_w を最大化する最適化問題を設定し、M_w = ∫ w(τ) R(τ)ᵀ Σ_ref⁻¹ R(τ) dτ の固有分解を得る。
• M_w の主成分を用いた最適エンコーダ G* を提供し、r 個の有効方向への拡張方法を示す。
• 読み出しが線形回帰によって最適に再構成される場合に ROME と BP の等価性を示す。
• スピン波物理的リザーバおよび不均一な入力-興奮性抑制性スパイキング ニューラルネットワーク（SNN）への ROME の適用を示す。

実験結果

リサーチクエスチョン

• RQ1 リザーバの揺らぎ-応答構造を踏まえ、タスク関連の線形 memory を最大化するための最適な入力エンコード方向は何か？
• RQ2 測定可能な揺らぎと応答を用いて、固定入力パワー制約の下で memory をいかに定量化・最適化するか？
• RQ3 BP に基づくエンコーダ最適化はROME基準へ収束するのか、どの条件下でそうなるのか？
• RQ4 ROME は物理的リザーバやSpiking Neural Networks のような非微分可能系へ効果的に適用できるか？
• RQ5 揺らぎ-消散構造がリザーバ計算のタスク実現性を決定する役割は何か？

主な発見

• ROME は M_w の最も特徴的な固有ベクトルとして最適な入力エンコード方向を提供し、タスク関連性と固有ノイズのバランスを取る。
• 線形 memory タスクに対して、MF(τ;G) は入力方向を遅く低ノイズ・高応答の力学モードと整列させることで最大化される。
• 入力行列の BP ベース最適化は、最適な線形読み出し下で同じ memory 目標を最大化することと同等。
• ROME は低入力パワーで、線形・非線形リザーバ（ESN を含む単一遅延タスクや NARMA10 ベンチマーク）における memory 効率を改善する。
• ROME は物理的リザーバ（スピン波ウェーブガイド）や非微分可能系（不均一な E/I SNN）に適用可能で、BP が適用不能な場面にも適用可能。
• この枠組みはエンコーダ最適化を、タスク特徴の混合とリザーバノイズ構造の幾何学的トレードオフとして解釈する。