[논문 리뷰] Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

Xinyu Wang, Sicheng Lyu외 5명|arXiv (Cornell University)|2026. 01. 22.

Digital Humanities and Scholarship인용 수 0

한 줄 요약

RLSEdit는 평생 순차 편집을 위한 재귀적 최소자승 편집기로서 소프트 준수와 앵커 보존을 도입하여, 확장 가능하고 안정적인 업데이트를 달성하며 일반적 기능을 유지합니다.

ABSTRACT

Model editing updates a pre-trained LLM with new facts or rules without re-training, while preserving unrelated behavior. In real deployment, edits arrive as long streams, and existing editors often face a plasticity-stability dilemma: locate-then-edit "hard writes" can accumulate interference over time, while null-space-style "hard preservation" preserves only what is explicitly constrained, so past edits can be overwritten and unconstrained behaviors may deviate, degrading general capabilities in the many-edits regime. We propose RLSEdit, a recursive least-squares editor for long sequential editing. RLSEdit formulates editing as an online quadratic optimization with soft constraints, minimizing a cumulative key-value fitting objective with two regularizers that control for both deviation from the pre-trained weights and from a designated anchor mapping. The resulting update admits an efficient online recursion via the Woodbury identity, with per-edit cost independent of history length and scaling only with the current edit size. We further provide deviation bounds and an asymptotic characterization of the adherence-preservation trade-off in the many-edits regime. Experiments on multiple model families demonstrate stable scaling to 10K edits, outperforming strong baselines in both edit success and holistic stability -- crucially retaining early edits, and preserving general capabilities on GLUE and held-out reasoning/code benchmarks.

연구 동기 및 목표

• 새로운 사실 학습과 기존 지식 보존의 균형을 맞추는 평생 순차 모델 편집의 필요성을 제시한다.
• 두 가지 편차 제어(초기 가중치로부터의 편차와 앵커 매핑으로부터의 편차)를 갖는 온라인 규제 최소자승 문제로 편집을 수식한다.
• 현재 편집 크기 u_t에 따라 달라지는 per-edit 비용으로 과거 이력에 의존하지 않는 Woodbury 기반 온라인 재귀를 개발한다.
• 다수 편집 구간에 대한 이론적 편차 경계와 점근적 분석을 제공한다.
• 다수 모델 계열에서 대규모 편집 스트림에 걸친 우수한 편집 성공과 안정성을 입증한다.

제안 방법

• 초기 가중치로부터의 편차와 지정된 앵커 매핑으로부터의 편차라는 두 가지 규제항을 포함한 과거 편집 잔차와 현재 편집 잔차를 합산하는 2차 목적함수를 수식화한다.
• 정규방정식을 이용한 해를 도출하고, 현재 편집 크기 u_t에 따라 달라지는 per-edit 비용으로 역 공분산 C_t와 가중치 W_t를 갱신하는 온라인 Woodbury 재귀를 구현한다.
• 수치 안정성을 확보하기 위해 Woodbury 업데이트의 칼로세키 분해 기반 안정화 방법을 사용한다.
• 완만한 가정하에 릿지 규제된 모집단 최소해로의 수렴을 보이는 편차 경계와 점근적 특성을 제공한다.
• Llama-3-8B 및 Qwen2.5-7B에서 10k 편집으로 AlphaEdit, MEMIT, ROME, FT와 비교하고 다수 지표(효능, 일반화, 특이성, 유창성, 일관성)를 보고한다.

Figure 1: The recursive workflow of our RLS-Woodbury editor. The process alternates between updating the covariance state via the Woodbury identity (Phase 1) and updating weights (Phase 2). The highlighted block shows how we reduce complexity from $O\!\left(d_{k}^{3}\right)$ to $O\!\left(d_{k}^{2}u_

실험 결과

연구 질문

• RQ1 강제적 쓰기와 강제 보존 사이를 보간하는 소프트 제약으로도 평생 순차 편집을 효과적으로 달성할 수 있는가?
• RQ2 과거 편집에 비해 편집당 온라인 RLSEdit의 계산 비용은 어느 정도이며, 편집 크기에 따라 어떻게 규모화되는가?
• RQ3 RLSEdit가 대형 언어 모델에 다수의 순차 편집을 적용하면서 일반적 능력을 보존하는가?
• RQ4 편차 매개변수 lambda와 mu가 긴 편집 스트림에서 매개변수 드리프트와 앵커 준수에 어떤 영향을 미치는가?
• RQ5 여러 모델 계열에 걸친 긴 편집 스트림에서 RLSEdit가 최첨단 편집기들과 비교하여 어떤 성능을 보이는가?

주요 결과

모델	효능	일반화	특이성	유창성	일관성
Llama-3-8B	89.94 ± 0.75	72.84 ± 1.21	60.56 ± 0.35	615.58 ± 4.34	26.27 ± 0.35
Qwen2.5-7B	94.45 ± 1.07	68.55 ± 0.47	73.37 ± 0.44	625.74 ± 0.71	31.62 ± 0.81

• RLSEdit는 10K 순차 편집에 대해 Llama-3-8B와 Qwen2.5-7B에서 강력한 편집 성공과 안정성을 달성하고 다수의 지표에서 기준선을 능가한다.
• Llama-3-8B에서 RLSEdit은 Efficacy 89.94, Generalization 72.84, Specificity 60.56, Fluency 615.58, Consistency 26.27로 모두 기준선보다 높다.
• Qwen2.5-7B에서 RLSEdit은 Efficacy 94.45, Generalization 68.55, Specificity 73.37, Fluency 625.74, Consistency 31.62를 달성하며, RLSEdit가 종종 Efficacy와 Fluency에서 선두를 차지한다.
• RLSEdit는 초기 편집을 AlphaEdit, ROME, MEMIT, FT보다 더 잘 보존하여 일반 언어 이해 및 추론 벤치마크에서 편집 체크포인트 전반에 걸쳐 성능을 유지한다.
• 해당 방법은 과거 편집의 총 수가 아닌 현재 편집 크기 u_t에 의존하는 per-edit 비용으로 확장되어, 안정적인 장기 편집을 가능하게 한다.
• 실험 결과는 RLSEdit가 GLUE 과제와 코드/수학 벤치마크에서 일반적 능력을 기준선보다 잘 유지함을 보여준다.

Figure 2: Evolution of objective terms over $10\mathsf{K}$ edits. We compare RLSEdit against baselines ( AlphaEdit , MEMIT ) on three metrics: Term 1 ( $\|{\bm{K}}_{t}{\bm{W}}-{\bm{V}}_{t}\|_{F}^{2}$ ) measures the fitting error for the current edit; Term 2 ( $\|{\bm{W}}-{\bm{W}}_{0}\|_{F}^{2}$ ) me