[논문 리뷰] Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias

Ojasva Nema, Kaustubh Sharma외 2명|arXiv (Cornell University)|2026. 02. 05.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

이 논문은 architectural inductive bias, 특히 multiplicative 상호작용을 갖는 bilinear MLP가 학습된 연산자의 구조적 해리를 촉진한다고 주장한다. 이는 분석적으로 및 제어된 실험을 통해 입증된 바와 같이 모델 편집(무학습) 및 장기 외삽 extrapolation을 개선한다.

ABSTRACT

Selective unlearning and long-horizon extrapolation remain fragile in modern neural networks, even when tasks have underlying algebraic structure. In this work, we argue that these failures arise not solely from optimization or unlearning algorithms, but from how models structure their internal representations during training. We explore if having explicit multiplicative interactions as an architectural inductive bias helps in structural disentanglement, through Bilinear MLPs. We show analytically that bilinear parameterizations possess a `non-mixing' property under gradient flow conditions, where functional components separate into orthogonal subspace representations. This provides a mathematical foundation for surgical model modification. We validate this hypothesis through a series of controlled experiments spanning modular arithmetic, cyclic reasoning, Lie group dynamics, and targeted unlearning benchmarks. Unlike pointwise nonlinear networks, multiplicative architectures are able to recover true operators aligned with the underlying algebraic structure. Our results suggest that model editability and generalization are constrained by representational structure, and that architectural inductive bias plays a central role in enabling reliable unlearning.

연구 동기 및 목표

• 대표화 구조가 일반화와 훈련 정확도 그 이상으로 선택적 무학습에 중요한 이유를 동기부여한다.
• 학습된 연산자의 작업 구조에 맞춰 직교 분해되는 구조적 해리로 도입한다.
• 경사도 역학이 독립적인 기능 구성요소를 보존하는 방식을 연구하기 위한 렌즈로서 bilinear 아키텍처를 조사한다.
• 구조적 편향의 역할을 지지하기 위해 대수적 및 동역학적 과제에서 해석적 결과와 제어된 실험을 모두 제공한다.

제안 방법

• 작업 특이적 상호작용 연산자 Q를 bilinear 출력으로부터의 랭크-1 상호작용 행렬의 합으로 정의한다: Q = sum_k alpha_k w_k v_k^T.
• 제곱 Frobenius 손실 L = (1/2)||Q − Q*||_F^2 하에서의 그래디언트 흐름을 분석하고 이차 형(bilinear) 흐름 방정식을 도출한다: dQ/dt = −(Q − Q*) V V^T − U U^T (Q − Q*).
• Q*의 SVD가 Q* = sum_i s_i u_i v_i^T일 때, 역학은 교차 항이 없는 독립 모드 업데이트 c_i(t)로 분리된다.
• 이차형 매개변수화는 상호작용 모드의 독립성을 보존하여 선택적 무학습과 안정적 외삽을 가능하게 한다.
• 이론을 검증하기 위해 모듈러 산술, 순환 추론, Lie 군 역학, 무학습 벤치마크에 대한 제어된 실험을 수행한다.
• 곱적 아키텍처들(Bilinear MLPs, SwiGLU, GeGLU)을 점별 비선형성(ReLU, Tanh, Sigmoid)과 비교하여 내부 구조와 무학습 동작 측면에서 비교한다.

실험 결과

연구 질문

• RQ1 architectural inductive bias toward multiplicative interactions가 학습된 연산자의 구조적 해리로 이어지는가?
• RQ2 bilinear 아키텍처가 entangled 작업에서 retained 구성요소를 해치지 않으면서 선택적 무학습을 가능하게 하는가?
• RQ3 bilinear 모델이 학습하는 내부 연산자 구조가 장기 외삽 및 동역학 시스템의 불변량에 어떤 영향을 미치는가?
• RQ4 bilinear 모델이 modular arithmetic 및 관련 과제에서 ground-truth 대수 연산자를 pointwise nonlinear 모델보다 더 충실하게 회복하는가?

주요 결과

• Bilinear 아키텍처는 학습 중 기능 구성요소의 직교적 분리를 유도하여 특정 모드의 독립적 수정을 가능하게 한다.
• Entangled 작업에서 bilinear 모델은 Retained 작업의 높은 유지와 함께 거의 이상적인 선택적 무학습을 가능하게 하며, 포인터형 모델과 다르다.
• 스펙트럼 및 저랭크 구조 분석은 bilinear 모델이 ground-truth 대수 구조에 정렬된 연산자를 학습하는 반면 ReLU 기반 모델은 분포된 구성요소를 기억한다는 점을 보여준다.
• 불연속적으로 반복되는 (cyclic) 및 연속적인 (Lie group) 역학은 bilinear 모델이 장기간에 걸쳐 불변량과 부피를 더 잘 보존함을 보여준다.
• 실험적 결과는 bilinear, SwiGLU 및 GeGLU 아키텍처가 진짜 더하기 연산자 근처에 집중하고 원하지 않는 성분의 급격한 감소를 보이며 구조적 해리가 모델 편집 가능성의 메커니즘임을 시사한다.