[논문 리뷰] Memory-Based Model Editing at Scale

Eric Mitchell, Charles P. Lin외 3명|arXiv (Cornell University)|2022. 06. 13.

Topic Modeling인용 수 31

한 줄 요약

SERAC은 명시적 메모리에 편집을 저장하고 범위 분류기와 카운터팩추얼 모델을 사용하여 기본 모델의 예측을 조정하는 준 매개변수식, 메모리 기반 모델 편집기를 도입하여, 그래디언트 기반 편집기와 비교해 QA, 사실 확인, 대화 작업에서 강력한 성능을 달성한다.

ABSTRACT

Even the largest neural networks make errors, and once-correct predictions can become invalid as the world changes. Model editors make local updates to the behavior of base (pre-trained) models to inject updated knowledge or correct undesirable behaviors. Existing model editors have shown promise, but also suffer from insufficient expressiveness: they struggle to accurately model an edit's intended scope (examples affected by the edit), leading to inaccurate predictions for test inputs loosely related to the edit, and they often fail altogether after many edits. As a higher-capacity alternative, we propose Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC), which stores edits in an explicit memory and learns to reason over them to modulate the base model's predictions as needed. To enable more rigorous evaluation of model editors, we introduce three challenging language model editing problems based on question answering, fact-checking, and dialogue generation. We find that only SERAC achieves high performance on all three problems, consistently outperforming existing approaches to model editing by a significant margin. Code, data, and additional project information will be made available at https://sites.google.com/view/serac-editing.

연구 동기 및 목표

• 변화하는 환경에서 빠르고 목표지향적인 배포 후 모델 업데이트의 필요성을 동기 부여한다.
• 편집 범위와 확장성 문제로 어려움을 겪는 그래디언트 기반 편집기의 한계를 해결한다.
• 편집 추론을 기본 모델 매개변수와 분리하는 준 매개변수 편집 프레임워크를 제안한다.
• 강력한 편집 작업에서 견고성과 확장성을 입증하기 위한 평가를 수행한다.

제안 방법

• 기본 모델 매개변수를 수정하지 않고 명시적 메모리에 사용자 제공 편집을 저장한다.
• 편집의 범위에 테스트 입력이 속하는지 판단하기 위해 범위 분류기를 도입한다.
• 적용 가능할 때 편집된 세계에서 레이블을 예측하는 카운터팩추얼 모델을 도입한다.
• 범위 내일 때 가장 관련성 높은 편집을 사용하여 예측을 안내하는 준 매개변수 편집기로 기본 모델을 래핑한다.
• 범위 분류기와 카운터팩추얼 모델을 감독 학습 목표를 사용하여 별도로 학습시킨다.
• QA, QA-hard, fact-checking, 및 ConvSent 대화 편집 작업에 걸쳐 평가한다.

실험 결과

연구 질문

• RQ1 메모리 기반 편집기가 저장된 편집의 범위에 속하는 테스트 입력을 정확하게 판단할 수 있는가?
• RQ2 편집으로 조건화된 카운터팩추얼 모델이 범위 내 입력의 예측 정확도를 향상시키는 동시에 범위를 벗어난 동작을 보존하는가?
• RQ3 여러 편집이 동시에 적용되고 다양한 작업에서 SERAC이 그래디언트 기반 편집기와 비교해 어떤 성능을 보이는가?

주요 결과

• SERAC는 QA, QA-hard, FC, 및 ConvSent 과제에서 높은 편집 성공률을 달성한다.
• 다수의 동시 편집에서도 기본값(베이스라인)보다 성능을 유지하여 확장성을 보여준다.
• 범위 분류기가 편집 간 간섭과 범위를 벗어난 입력 간 간섭을 효과적으로 줄인다.
• 분리된 설계로 각 모델마다 편집기를 재훈련하지 않고도 서로 다른 기본 모델 간에 편집기를 재사용할 수 있다.
• 작업 전반에 걸쳐 SERAC은 기존 편집 접근법을 상당한 차이로 일관되게 능가한다.
• 분류기 아키텍처(예: cross-attention 대 embedding)가 성능에 영향을 미치며, 더 풍부한 분류기가 더 어려운 환경에서 더 나은 결과를 낳는다.