Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

Xinyu Wang, Sicheng Lyu|arXiv (Cornell University)|Jan 22, 2026
Digital Humanities and Scholarship被引用数 0
ひとこと要約

RLSEditは、ソフトな遵守とアンカー保持を備えた再帰最小二乗エディタを生涯的な逐次編集に適用し、過去の編集を安定に保持しつつ、現在の編集適合性を保ちつつ、スケーラブルで安定した更新を実現します。

ABSTRACT

Model editing updates a pre-trained LLM with new facts or rules without re-training, while preserving unrelated behavior. In real deployment, edits arrive as long streams, and existing editors often face a plasticity-stability dilemma: locate-then-edit "hard writes" can accumulate interference over time, while null-space-style "hard preservation" preserves only what is explicitly constrained, so past edits can be overwritten and unconstrained behaviors may deviate, degrading general capabilities in the many-edits regime. We propose RLSEdit, a recursive least-squares editor for long sequential editing. RLSEdit formulates editing as an online quadratic optimization with soft constraints, minimizing a cumulative key-value fitting objective with two regularizers that control for both deviation from the pre-trained weights and from a designated anchor mapping. The resulting update admits an efficient online recursion via the Woodbury identity, with per-edit cost independent of history length and scaling only with the current edit size. We further provide deviation bounds and an asymptotic characterization of the adherence-preservation trade-off in the many-edits regime. Experiments on multiple model families demonstrate stable scaling to 10K edits, outperforming strong baselines in both edit success and holistic stability -- crucially retaining early edits, and preserving general capabilities on GLUE and held-out reasoning/code benchmarks.

研究の動機と目的

  • 新しい事実を学ぶことと既存知識を保持することのバランスをとりながら、生涯的な逐次モデル編集を動機づける。
  • 初期ウェイトからのずれとアンカー写像からのずれという2つのずれ制御を含むオンライン正則最小二乗として編集を定式化する。
  • オンラインWoodbury法による再帰更新を開発し、過去の履歴ではなく現在の編集サイズに比例するコストで編集を拡張可能にする。
  • 多数の編集フェーズに対する理論的ずれ境界と漸近分析を提供する。
  • 複数のモデルファミリーに対して大規模な編集ストリームで、編集成功と安定性が従来手法より優れることを示す。

提案手法

  • 過去の編集残差と現在の編集残差の二乗和に、初期ウェイトからのずれと指定したアンカー写像からのずれという2つの正則化項を加えた二次目的関数を定式化する。
  • 正規方程式を用いた閉形式解を導出し、オンラインWoodbury再帰を実装して、共分散の逆行列C_tとウェイトW_tを現在の編集サイズu_tに依存するPer-editコストで更新する。
  • Woodbury更新の数値安定性を確保するため、Choleskyベースの安定化を用いる。
  • 有界な仮定の下でずれ境界と、岭正則化された母集団ミニマイザーへの漸近収束を示す特性を提供する。
  • Llama-3-8BとQwen2.5-7Bを対象とした10k編集で、Efficacy、Generalization、Specificity、Fluency、Consistencyの複数指標を報告してRLSEditをAlphaEdit、MEMIT、ROME、FTと比較する。
Figure 1: The recursive workflow of our RLS-Woodbury editor. The process alternates between updating the covariance state via the Woodbury identity (Phase 1) and updating weights (Phase 2). The highlighted block shows how we reduce complexity from $O\!\left(d_{k}^{3}\right)$ to $O\!\left(d_{k}^{2}u_
Figure 1: The recursive workflow of our RLS-Woodbury editor. The process alternates between updating the covariance state via the Woodbury identity (Phase 1) and updating weights (Phase 2). The highlighted block shows how we reduce complexity from $O\!\left(d_{k}^{3}\right)$ to $O\!\left(d_{k}^{2}u_

実験結果

リサーチクエスチョン

  • RQ1ソフト制約でハード書き込みとハード保持の間を補間することで、生涯的な逐次編集は効果的に達成できるか。
  • RQ2過去の編集と比較して、オンラインRLSEdit per-editの計算コストはどの程度か、編集サイズと共にどうスケールするか。
  • RQ3多くの連続編集を大規模言語モデルに適用しても、RLSEditは一般能力を保持するか。
  • RQ4長い編集ストリームにおけるパラメータのドリフトとアンカー遵守に対するlambdaとmuの影響はどうなるか。
  • RQ5長い編集ストリームを跨ぐ複数のモデルファミリーで、RLSEditは最先端エディタと比較してどのように性能を発揮するか。

主な発見

ModelEfficacyGeneralizationSpecificityFluencyConsistency
Llama-3-8B89.94 ± 0.7572.84 ± 1.2160.56 ± 0.35615.58 ± 4.3426.27 ± 0.35
Qwen2.5-7B94.45 ± 1.0768.55 ± 0.4773.37 ± 0.44625.74 ± 0.7131.62 ± 0.81
  • RLSEditはLlama-3-8BとQwen2.5-7Bで10Kの連続編集において強い編集成功と安定性を示し、複数の指標でベースラインを上回る。
  • Llama-3-8Bでは、RLSEditはEfficacy 89.94、Generalization 72.84、Specificity 60.56、Fluency 615.58、Consistency 26.27を達成し、すべてベースラインを上回る。
  • Qwen2.5-7Bでは、RLSEditはEfficacy 94.45、Generalization 68.55、Specificity 73.37、Fluency 625.74、Consistency 31.62を達成し、EfficacyとFluencyでRLSEditが優位になることが多い。
  • RLSEditは初期の編集をAlphaEdit、ROME、MEMIT、FTよりも良く保持し、編集チェックポイント全体で一般的な言語理解と推論のベースライン性能を維持する。
  • 編集サイズu_tに依存する現在の編集サイズに対する per-edit コストでスケールし、過去の編集総数には依存しない長いストリーム編集を安定化させる。
  • 実証結果は、GLUEタスクやコード/数学ベンチマークで、編集経路全体を通じてベースラインより一般能力をより良く維持することを示す。
Figure 2: Evolution of objective terms over $10\mathsf{K}$ edits. We compare RLSEdit against baselines ( AlphaEdit , MEMIT ) on three metrics: Term 1 ( $\|{\bm{K}}_{t}{\bm{W}}-{\bm{V}}_{t}\|_{F}^{2}$ ) measures the fitting error for the current edit; Term 2 ( $\|{\bm{W}}-{\bm{W}}_{0}\|_{F}^{2}$ ) me
Figure 2: Evolution of objective terms over $10\mathsf{K}$ edits. We compare RLSEdit against baselines ( AlphaEdit , MEMIT ) on three metrics: Term 1 ( $\|{\bm{K}}_{t}{\bm{W}}-{\bm{V}}_{t}\|_{F}^{2}$ ) measures the fitting error for the current edit; Term 2 ( $\|{\bm{W}}-{\bm{W}}_{0}\|_{F}^{2}$ ) me

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。