[논문 리뷰] Multiplicative Orthogonal Sequential Editing for Language Models

Hao-Xiang Xu, Jun-Yu Ma외 4명|arXiv (Cornell University)|2026. 01. 11.

Topic Modeling인용 수 0

한 줄 요약

MOSE는 수치적 안정성을 보존하면서 지식을 업데이트하는 직교적 곱셈 편집 패러다임을 도입하여 순차 편집 성능을 개선하고 일반 능력을 유지합니다.

ABSTRACT

Knowledge editing aims to efficiently modify the internal knowledge of large language models (LLMs) without compromising their other capabilities. The prevailing editing paradigm, which appends an update matrix to the original parameter matrix, has been shown by some studies to damage key numerical stability indicators (such as condition number and norm), thereby reducing editing performance and general abilities, especially in sequential editing scenario. Although subsequent methods have made some improvements, they remain within the additive framework and have not fundamentally addressed this limitation. To solve this problem, we analyze it from both statistical and mathematical perspectives and conclude that multiplying the original matrix by an orthogonal matrix does not change the numerical stability of the matrix. Inspired by this, different from the previous additive editing paradigm, a multiplicative editing paradigm termed Multiplicative Orthogonal Sequential Editing (MOSE) is proposed. Specifically, we first derive the matrix update in the multiplicative form, the new knowledge is then incorporated into an orthogonal matrix, which is multiplied by the original parameter matrix. In this way, the numerical stability of the edited matrix is unchanged, thereby maintaining editing performance and general abilities. We compared MOSE with several current knowledge editing methods, systematically evaluating their impact on both editing performance and the general abilities across three different LLMs. Experimental results show that MOSE effectively limits deviations in the edited parameter matrix and maintains its numerical stability. Compared to current methods, MOSE achieves a 12.08% improvement in sequential editing performance, while retaining 95.73% of general abilities across downstream tasks. The code is available at https://github.com/famoustourist/MOSE.

연구 동기 및 목표

• 연속 업데이트에서 가법 지식 편집의 불안정성 해결.
• 노름과 조건수(s 조건수)를 보존하기 위해 직교 변환을 사용하는 곱셈 편집 프레임워크 제안.
• MOSE가 다운스트림 작업에서 일반 능력을 유지하면서 편집 성능을 유지하는지 보임.
• 여러 LLM과 편집 데이터셋에서 MOSE를 최첨단 방법과 비교 평가.

제안 방법

• 원래 매개변수 행렬에 대해 가법 업데이트를 좌측 곱셈하는 직교 업데이트 행렬로 대체합니다.
• 최적의 직교 변환을 찾기 위해 제약된 최소제곱(Orthogonal Procrustes) 문제로 업데이트를 형식화합니다.
• 원래 지식을 보존하고 새 지식을 맞추는 것을 정규화된 목적함수로 최소화합니다.
• 레이어 활성화 기반의 기준으로 편집 레이어를 선택하고 성능 향상을 위해 이웃 레이어로 편집을 확장합니다.
• 직교 행렬로의 좌측 곱셈이 Frobenius 놈과 행렬 조건수(norma) 보존을 입증하는 해석적 증명을 제공합니다.

실험 결과

연구 질문

• RQ1 정교하게 직교적이고 곱셈적인 업데이트가 순차 편집 중 수치적 안정성을 보존할 수 있는가?
• RQ2 MOSE가 연속 및 배치 편집 하에서 가법 방법보다 편집 성능과 일반 능력을 더 잘 유지하는가?
• RQ3 지식 업데이트 전반에 걸쳐 MOSE의 효율성을 극대화하기 위해 편집 레이어를 어떻게 선택해야 하는가?

주요 결과

방법	모델	CounterFact 신뢰도	CounterFact 일반화	CounterFact 지역성	ConceptEdit-Inter 신뢰도	ConceptEdit-Inter 일반화	ConceptEdit-Inter 지역성
ROME	LLama3-8B	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000
MEMIT	LLama3-8B	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000
RECT	LLama3-8B	0.5266	0.3075	0.2382	0.3234	0.1993	0.1397
EMMET	LLama3-8B	0.6287	0.4695	0.3114	0.3866	0.2178	0.1563
PRUNE	LLama3-8B	0.7738	0.6899	0.5190	0.5682	0.4097	0.3083
AlphaEdit	LLama3-8B	0.8222	0.7835	0.7091	0.6981	0.5928	0.4977
MOSE	LLama3-8B	0.9887	0.9863	0.8972	0.7859	0.7275	0.6856
ROME	Qwen2.5-7B	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000
MEMIT	Qwen2.5-7B	0.0000	0.0000	0.0000	0.0000	0.0000	0.0000
RECT	Qwen2.5-7B	0.6203	0.4745	0.3582	0.3737	0.2306	0.1738
EMMET	Qwen2.5-7B	0.6702	0.5589	0.4771	0.4593	0.2641	0.1903
PRUNE	Qwen2.5-7B	0.8115	0.7860	0.6823	0.6708	0.5009	0.4120
AlphaEdit	Qwen2.5-7B	0.9519	0.9241	0.8418	0.7346	0.6453	0.6116
MOSE	Qwen2.5-7B	0.9981	0.9902	0.9098	0.8012	0.7547	0.7069

• MOSE는 순차 편집 중 편집된 매개변수 행렬의 수치적 안정성(노름 및 조건수)을 보존합니다.
• MOSE는 기준선 가법 방법 대비 순차 편집 성능을 12.08% 향상시킵니다.
• MOSE는 실험 전반에서 다운스트림 작업에 대한 모델의 일반 능력의 95.73%를 유지합니다.
• 배치-순차 편집에서 MOSE는 일관되게 베이스라인보다 우수하며 스케일링이 더 잘됩니다.
• 레이어 인식 MOSE(선택된 레이어와 이웃 편집)는 순차 및 배치 설정에서 가장 좋은 성능을 제공합니다.