[논문 리뷰] Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors

Thomas Hartvigsen, Swami Sankaranarayanan외 3명|arXiv (Cornell University)|2022. 11. 20.

Topic Modeling인용 수 15

한 줄 요약

GRACE는 재학습이나 가중치 업데이트 없이도 사전 훈련된 언어 모델에 수천 번의 순차적이고 대상 지정된 편집을 가능하게 하는 종신적 모델 편집 프레임워크이다. 이는 잠재 공간 내 이산 키-값 어댑터를 사용해 수정 사항을 캐시하고 검색함으로써 최신 기술 성능을 달성하면서도 성능 저하를 최소화하고, 예상치 못한 입력으로의 일반화 능력을 유지한다.

ABSTRACT

Deployed language models decay over time due to shifting inputs, changing user needs, or emergent world-knowledge gaps. When such problems are identified, we want to make targeted edits while avoiding expensive retraining. However, current model editors, which modify such behaviors of pre-trained models, degrade model performance quickly across multiple, sequential edits. We propose GRACE, a lifelong model editing method, which implements spot-fixes on streaming errors of a deployed model, ensuring minimal impact on unrelated inputs. GRACE writes new mappings into a pre-trained model's latent space, creating a discrete, local codebook of edits without altering model weights. This is the first method enabling thousands of sequential edits using only streaming errors. Our experiments on T5, BERT, and GPT models show GRACE's state-of-the-art performance in making and retaining edits, while generalizing to unseen inputs. Our code is available at https://www.github.com/thartvigsen/grace}.

연구 동기 및 목표

• 재학습이 불가능한 실세계 환경에서 지속적이고 대상 지정된 편집을 대규모 사전 훈련된 언어 모델에 구현하는 데 도전한다.
• 특히 단일의 스트리밍 오류 인스턴스만 이용 가능한 상황에서 순차적 편집에서 발생하는 성능 저하와 기억 상실 문제를 해결한다.
• 기존 모델 동작을 유지하면서 사실성 환각과 레이블 이동에 대한 즉각적인 수정을 가능하게 하는 파rameter 효율적이고 모델 독립적인 방법을 개발한다.
• 지속 가능한 코드북 기반의 키-값 매핑을 통해 편집을 모델 가중치에서 분리함으로써 투명하고 추적 가능한 편집을 가능하게 한다.
• 지속적인 모델 편집이라는 이전에 다루지 않은 문제 설정에 기준과 지표를 설정한다.

제안 방법

• GRACE는 사전 훈련된 트랜스포머 모델의 특정 레이어에 플러그인 어댑터를 도입하여 모델의 동결된 가중치를 변경하지 않고 계층 간 변환을 수정한다.
• 표시된 오류에 대한 입력 임베딩을 캐시하고, 해당 출력에 대응하는 값 벡터를 학습함으로써 수정 사항의 이산 코드북을 형성한다.
• 편집은 캐시된 키 주변의 에프실론-볼(epsilon-ball) 내 입력에만 적용되며, 잠재 공간 내 의미적 유사성에 기반한 국소성과 일반화를 보장한다.
• 시간이 지남에 따라 에프실론-볼의 크기를 동적으로 관리하여 즉각적인 수정과 이전 편집의 장기적 유지 간 균형을 이룬다.
• GRACE는 최소한의 추론 오버헤드를 유발하며, 순자기적(auto-regressive) 및 비순자기적(non-autoregressive) 모델 모두와 호환된다.
• 코드북은 완전히 검토 가능하므로 감사 가능성과 투명성을 확보할 수 있다—가중치 편집 방법과 달리 변경 사항을 숨기지 않는다.

실험 결과

연구 질문

• RQ1 재학습이나 가중치 업데이트 없이도 모델 편집 방법이 수천 번의 순차적 편집 동안 성능을 유지할 수 있는가?
• RQ2 개인적 예시의 기억을 피하면서도, 새로운 입력으로의 편집 일반화 능력은 얼마나 잘 작동하는가?
• RQ3 실세계 배포 환경에서 사실성 환각과 레이블 이동을 수정하는 데 높은 정확도를 달성할 수 있는가?
• RQ4 편집에 사용 가능한 오류 인스턴스가 단일이고 고립된 경우, 방법의 성능는 어떻게 되는가?
• RQ5 장기적인 편집 시퀀스에 대해 원래 모델의 능력을 유지하면서 추론 비용을 최소화하면서도 스케일링이 가능한가?

주요 결과

• GRACE는 질문 응답, 문서 분류, 언어 생성 작업에서 T5, BERT, GPT 모델에 대해 종신적 편집에서 7개의 최신 기술 기준보다 뛰어난 성능을 보였다.
• GRACE는 이전에 편집된 입력에서 높은 성능를 유지하면서도, 새로운 입력으로의 일반화를 통해 과적합과 기억의 문제를 피했다.
• GRACE는 약 5,000개의 편집까지의 시퀀스에서도 안정적인 성능을 유지하여 장기적인 배포 환경에서의 강건성을 입증했다.
• 효율적인 잠재 공간 내 유사도 검색 덕분에, 장기적인 편집 시퀀스 동안에도 추론 시간에 거의 영향을 주지 않는 작은 일회성 비용만 발생시켰다.
• 메서드는 의미적 유사성에 기반해 정확한 입력 일치가 아닌 방식으로 새로운 입력으로 효과적으로 일반화되었으며, 편집이 적용되었다.
• GRACE의 코드북은 투명하고 검토 가능하여 편집의 추적 가능성을 보장한다—가중치 기반 편집 방법과 달리 변경 사항을 숨기지 않는다.