[論文レビュー] Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias

Ojasva Nema, Kaustubh Sharma+2 more|arXiv (Cornell University)|Feb 5, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

この論文は、建築的帰納的バイアス、特に乗法的相互作用を伴うbilinear MLPが、学習されたオペレータの構造的分離を促進し、それがモデル編集（忘却）と長期外挿の改善につながると主張する。分析と制御実験の両方を通じて示される。

ABSTRACT

Selective unlearning and long-horizon extrapolation remain fragile in modern neural networks, even when tasks have underlying algebraic structure. In this work, we argue that these failures arise not solely from optimization or unlearning algorithms, but from how models structure their internal representations during training. We explore if having explicit multiplicative interactions as an architectural inductive bias helps in structural disentanglement, through Bilinear MLPs. We show analytically that bilinear parameterizations possess a `non-mixing' property under gradient flow conditions, where functional components separate into orthogonal subspace representations. This provides a mathematical foundation for surgical model modification. We validate this hypothesis through a series of controlled experiments spanning modular arithmetic, cyclic reasoning, Lie group dynamics, and targeted unlearning benchmarks. Unlike pointwise nonlinear networks, multiplicative architectures are able to recover true operators aligned with the underlying algebraic structure. Our results suggest that model editability and generalization are constrained by representational structure, and that architectural inductive bias plays a central role in enabling reliable unlearning.

研究の動機と目的

• 一般化とトレーニング精度を超えた選択的忘却のための表現構造の重要性を動機づける。
• 構造的分離を、タスク構造と整合した学習オペレータの直交分解として導入する。
• 勾配ダイナミクスが独立した機能成分をどのように保持するかを研究するためのレンズとしてbilinearアーキテクチャを探究する。
• 代数的および動的タスクにおける解析的結果と制御実験の両方を提供し、建築的バイアスの役割を支持する。

提案手法

• タスク固有の相互作用オペレータQを、bilinear出力からのランク-1相互作用行列の和として定義する: Q = sum_k alpha_k w_k v_k^T.
• 二乗フロベニウス損失 L = (1/2)||Q − Q*||_F^2 の下での勾配流を分析し、bilinear流れ方程式を導出する: dQ/dt = −(Q − Q*) V V^T − U U^T (Q − Q*).
• Q* のSVD Q* = sum_i s_i u_i v_i^T を用いると、ダイナミクスは独立したモード更新 c_i(t) に分離され、クロス項は存在しないことを示す。
• bilinearなパラメータ化は相互作用モードの独立性を保ち、選択的忘却と安定した外挿を可能にする。
• モジュラー演算、循環推論、Lie群ダイナミクス、忘却ベンチマークに関する制御実験を実施して理論を検証する。
• 内部構造と忘却挙動の観点で、乗法的アーキテクチャ（bilinear MLPs、SwiGLU、GeGLU）を点ごとの非線形性（ReLU、Tanh、Sigmoid）と比較する。

実験結果

リサーチクエスチョン

• RQ1 architectural inductive bias toward multiplicative interactions は学習オペレータの構造的分離を促進するか？
• RQ2 bilinearアーキテクチャは entangled tasks において保持成分を損なわず選択的忘却を可能にするか？
• RQ3 bilinearモデルが学習する内部オペレータ構造は長期的な外挿性と動的系の不変量にどう影響するか？
• RQ4 bilinearモデルはモジュラー演算などのタスクでground-truthアルゲブラ的オペレータを、点ごと非線形モデルよりも忠実に回復するか？

主な発見

• bilinear アーキテクチャは訓練中に機能的成分を正交的に分離し、特定モードの独立した変更を可能にする。
• entangledタスクではbilinearモデルがほぼ理想的な選択的忘却を実現し、保持タスクの保持を高く保つのに対し、点ごとのモデルはそうでない。
• スペクトル・低ランク構造の分析は、bilinearモデルが基底真の代数構造に整列するオペレータを学習することを示し、ReLUベースモデルは分布的成分を記憶する。
• 離散反復（循環）および連続（Lie群）ダイナミクスは、bilinearモデルが長期的な視点で不変量と体積をより良く保持することを示す。
• 経験的結果は、bilinear、SwiGLU、GeGLUアーキテクチャが真の加法演算子の近くに集中し、不要な成分の急速な減衰を示し、構造的分離をモデル編集可能性のメカニズムとして支持する。