[논문 리뷰] Knowledge Editing for Large Language Models: A Survey

Song Wang, Yaochen Zhu외 4명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 5

한 줄 요약

이 종합적 서베이는 대규모 언어 모델(KME)을 위한 지식 편집 기술에 대해 종합적인 개요를 제공하며, 정확하고 효율적이며 지식을 유지하는 업데이트를 가능하게 하기 위해 KME를 제약 조건이 있는 최적화 문제로 통합적으로 정의한다. 이 연구는 지식 주입 메커니즘을 기반으로 한 KME 기법의 새로운 분류 체계를 제안하고, 핵심 기법들을 분석하며, 평가 지표와 데이터셋을 평가하고, LLM에서 강건하고 지속적이며 공정한 편집을 위한 핵심 과제와 향후 방향을 규명한다.

ABSTRACT

Large language models (LLMs) have recently transformed both the academic and industrial landscapes due to their remarkable capacity to understand, analyze, and generate texts based on their vast knowledge and reasoning ability. Nevertheless, one major drawback of LLMs is their substantial computational cost for pre-training due to their unprecedented amounts of parameters. The disadvantage is exacerbated when new knowledge frequently needs to be introduced into the pre-trained model. Therefore, it is imperative to develop effective and efficient techniques to update pre-trained LLMs. Traditional methods encode new knowledge in pre-trained LLMs through direct fine-tuning. However, naively re-training LLMs can be computationally intensive and risks degenerating valuable pre-trained knowledge irrelevant to the update in the model. Recently, Knowledge-based Model Editing (KME) has attracted increasing attention, which aims to precisely modify the LLMs to incorporate specific knowledge, without negatively influencing other irrelevant knowledge. In this survey, we aim to provide a comprehensive and in-depth overview of recent advances in the field of KME. We first introduce a general formulation of KME to encompass different KME strategies. Afterward, we provide an innovative taxonomy of KME techniques based on how the new knowledge is introduced into pre-trained LLMs, and investigate existing KME strategies while analyzing key insights, advantages, and limitations of methods from each category. Moreover, representative metrics, datasets, and applications of KME are introduced accordingly. Finally, we provide an in-depth analysis regarding the practicality and remaining challenges of KME and suggest promising research directions for further advancement in this field.

연구 동기 및 목표

• 새로운 지식을 업데이트할 때 LLM의 피팅 훈련으로 인한 높은 계산 비용과 지식 손실 위험을 해결하기 위해.
• 기존의 피팅 훈련의 한계, 즉 파라미터 오버라이팅, 치명적인 기억 상실, 높은 자원 소모 등을 규명하기 위해.
• 새로운 지식가 사전 훈련된 모델에 어떻게 주입되는지에 따라 KME 기법의 체계적 분류 체계를 제공하기 위해.
• 표준화된 지표, 데이터셋, 실제 응용 사례를 사용하여 기존 KME 기법들을 평가하기 위해.
• 지속적인 편집, 악성 공격에 대한 강건성, 공정성에 대한 열린 과제를 규명하고 향후 연구 방향을 제안하기 위해.

제안 방법

• 새로운 지식에서의 정확도와 기존 지식의 유지 간 균형을 맞추기 위해 KME를 제약 조건이 있는 최적화 문제로 공식화하기 위해.
• KME 기법을 두 가지 주요 유형으로 분류하기 위해: (1) 파라미터 업데이트 기반 편집(예: 어텐션 헤드 또는 MLP 레이어 업데이트), (2) 보조 네트워크 기반 편집(예: 리트리ieval 증강 또는 어댑터 모듈 사용).
• 지식 주입 메커니즘을 기반으로 한 체계적인 분류 체계 도입: 파라미터 기반 편집, 리트리ieval 증강 편집, 어댑터 기반 편집.
• KME 성능 평가를 위해 편집 성공률, 지식 유지도, 편집 특이성 등의 평가 지표를 제안하기 위해.
• 학습 및 평가에 사용되는 전용 데이터셋(예: HELM, MMLU, 및 커스터마이즈된 지식 주입 벤치마크)의 사용을 강조하기 위해.
• 수정되지 않은 사실에 대한 원래 모델 동작에서의 이탈을 방지하기 위해 손실 함수를 통합하여 지식 유지 보장을 보장하기 위해.

Figure 1 . An intuitive example of KME for efficient knowledge update of pre-trained LLMs.

실험 결과

연구 질문

• RQ1 지식 주입 메커니즘에 따라 KME 기법을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 다양한 KME 기법들 간에 편집 정확도, 지식 유지도, 계산 효율성 사이의 핵심 상충 관계는 무엇인가?
• RQ3 다수의 편집이 순차적으로 적용되는 지속적 편집 환경에서 기존 KME 기법들은 어떻게 성능을 발휘하는가?
• RQ4 KME 기법은 얼마나 효과적으로 악성 편집과 오락성 정보에 대한 모델의 강건성을 향상시킬 수 있는가?
• RQ5 KME는 사전 훈련된 LLM에서 편향을 완화하고 공정성을 향상시키는 데 효과적으로 활용될 수 있는가?

주요 결과

• KME 기법들은 전체 피팅 훈련 대비 계산 비용을 크게 줄이며, 모델 파라미터의 일부만 수정하거나 경량 모듈을 주입함으로써 가능하다.
• 어텐션 헤드나 MLP 레이어를 수정하는 파라미터 기반 편집 기법들은 높은 편집 성공률를 보이지만, 정규화가 충분히 이루어지지 않으면 지식 상실 위험이 있다.
• 리트리ieval 증강 또는 어댑터 기반 편집과 같은 보조 네트워크 기반 접근 방식은 더 나은 지식 유지도를 달성하고 모듈성이 뛰어나지만, 추론 지연을 유발할 수 있다.
• 편집 성공률 및 유지 정확도와 같은 평가 지표는 KME 성능을 정량화하는 데 필수적이며, 최신 기법들은 표준 벤치마크에서 90% 이상의 성공률를 기록하고 있다.
• 지속적 편집은 여전히 주요 과제이며, 연속적인 편집은 특히 비직교 편집 공간에서 이전 편집의 기억 상실과 간섭을 유도할 수 있다.
• 강건성과 공정성은 새로운 핵심 과제로 부상하고 있으며, 제약 조건이 있는 최적화와 검증 메커니즘을 결합한 KME는 편향 완화 및 악성 편집에 대한 저항력 향상에 잠재력을 보이고 있다.

Figure 2 . The formulation of the KME objective.