QUICK REVIEW
[논문 리뷰] Mass-Editing Memory in a Transformer
Kevin Meng, Arnab Sen Sharma|arXiv (Cornell University)|2022. 10. 13.
한 줄 요약
MEMIT은 수천 개의 기억을 MLP 기반 메모리 계층의 연쇄를 업데이트하여 언어 모델을 직접 업데이트하고, 이전 방법을 넘어 확장하며 일반화, 특이성, 유창성을 유지합니다.
ABSTRACT
Recent work has shown exciting promise in updating large language models with new memories, so as to replace obsolete information or add specialized knowledge. However, this line of work is predominantly limited to updating single associations. We develop MEMIT, a method for directly updating a language model with many memories, demonstrating experimentally that it can scale up to thousands of associations for GPT-J (6B) and GPT-NeoX (20B), exceeding prior work by orders of magnitude. Our code and data are at https://memit.baulab.info.
연구 동기 및 목표
- 대형 언어 모델을 다수의 새로운 기억을 모델 매개변수에 직접 업데이트하는 것을 목표로 한다.
- 대량 메모리 편집을 위한 사실 기억에 관여하는 확장 가능한 변환기 계층 집합을 식별한다.
- 제어된 트레이드오프를 가진 수천 개의 기억을 삽입하기 위한 직접적인 매개변수 업데이트 방법을 개발한다.
제안 방법
- 마지막 주제 토큰 S의 사실 기억에 관여하는 중간 계층 MLP들(l in R)의 결정 경로를 식별한다.
- 각 계층의 선형 연상 기억에 대한 일괄 업데이트를 형식화하여 기존 기억을 보존하면서 제곱 오차를 최소화한다.
- 각 편집에 대한 대상 기억 벡터 z_i를 계산하고, 닫힌 형태의 업데이트(Eqn. 14)를 사용하여 결과 변화 Delta^l를 핵심 계층에 분배한다.
- 변경의 크기를 최소화하고 각 계층 이후의 활성화를 다시 수집하기 위해 편집을 계층 L = max(R) 전체에 걸쳐 확산시킨다.
- 이전의 저장 키 K^l 및 기억 M^l을 조건으로 하는 정규방정식 기반 업데이트를 해결하여 델타를 최적화한다(Eqn. 14).
- 효능, 일반화, 특이성, 유창성 측정치를 사용하여 편집을 평가하고, 파인튜닝 및 다른 에디터와 비교한다.
실험 결과
연구 질문
- RQ1MEMIT가 대형 언어 모델에서 수천 개의 연관성을 메모리 편집으로 확장할 수 있는가?
- RQ2다수의 기억을 동시에 편집할 때 효능, 일반화, 특이성, 유창성의 트레이드오프는 어떻게 작용하는가?
- RQ3어떤 트랜스포머 구성요소가 기억 회상을 매개하고 대량 편집에 적합한 타깃인가?
- RQ4다양한 모델 규모와 사실 범주에 대해 MEMIT가 기준선(FT-W, MEND, ROME)과 비교하여 어떤 성능을 보이는가?
주요 결과
- MEMIT은 GPT-J(6B)와 GPT-NeoX(20B)에서 수천 개의 기억을 성공적으로 편집한다.
- 실세계 사실(zsRE) 1만 건 편집에서 MEMIT는 최고 편집자 점수(50.7), 강력한 효능(96.7) 및 패러프레이즈(89.7), 보통의 특이성(26.6)을 달성한다.
- 대규모 편집에서 기준선 MEND 및 ROME보다 우수하며, 유창성을 유지하고 관련 없는 사실로의 누출은 제한적이다.
- CounterFact 확장에서 MEMIT는 편집 점수와 강건성(높은 효능과 일반화)이 기준선보다 높지만, 일부 관계는 여전히 도전적이다.
- 실행 시간은 MEMIT이 MEND 및 FT-W에 비해 길지만, 배칭 및 최적화 여지가 있다고 저자들은 언급한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.