[논문 리뷰] Unveiling the Pitfalls of Knowledge Editing for Large Language Models

Zhoubo Li, Ningyu Zhang외 4명|arXiv (Cornell University)|2023. 10. 03.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델의 지식 편집에서 발생하는 두 가지 핵심적 함정인 지식 충돌(Knowledge Conflict)과 지식 왜곡(Knowledge Distortion)을 규명하고 분석한다. 지식 충돌은 논리적으로 모순되는 사실에 대한 편집이 모델의 일관성을 해칠 때 발생하고, 지식 왜곡은 매개변수 갱신으로 인해 모델의 내부 지식 구조가 영구적으로 손상되는 경우를 뜻한다. 저자들은 새로운 벤치마크인 ConflictEdit와 RoundEdit를 제안하고, 다중 정답 레이블을 동시에 처리함으로써 왜곡을 줄이는 Multi-Label Edit (MLE) 기법을 제안한다. 이는 기존의 편집 기법들에 비해 더 뛰어난 내성적 안정성을 보여준다.

ABSTRACT

As the cost associated with fine-tuning Large Language Models (LLMs) continues to rise, recent research efforts have pivoted towards developing methodologies to edit implicit knowledge embedded within LLMs. Yet, there's still a dark cloud lingering overhead -- will knowledge editing trigger butterfly effect? since it is still unclear whether knowledge editing might introduce side effects that pose potential risks or not. This paper pioneers the investigation into the potential pitfalls associated with knowledge editing for LLMs. To achieve this, we introduce new benchmark datasets and propose innovative evaluation metrics. Our results underline two pivotal concerns: (1) Knowledge Conflict: Editing groups of facts that logically clash can magnify the inherent inconsistencies in LLMs-a facet neglected by previous methods. (2) Knowledge Distortion: Altering parameters with the aim of editing factual knowledge can irrevocably warp the innate knowledge structure of LLMs. Experimental results vividly demonstrate that knowledge editing might inadvertently cast a shadow of unintended consequences on LLMs, which warrant attention and efforts for future works. Code and data are available at https://github.com/zjunlp/PitfallsKnowledgeEditing.

연구 동기 및 목표

• 대규모 언어 모델의 지식 편집이 지식 일관성의 손상이나 구조적 손상과 같은 부작용을 유발하는지 조사하기.
• 지식 충돌(논리적으로 모순되는 사실에 대한 편집으로 인한 결과)과 지식 왜곡(모델의 지식 구조에 대한 영구적 변화로 인한 결과)이라는 두 가지 주요 함정을 식별하고 분류하기.
• 복잡한 편집 시나리오 하에서 기존의 편집 기법의 내성적 안정성을 체계적으로 평가하기 위해 새로운 벤치마크 데이터셋인 ConflictEdit와 RoundEdit를 개발하기.
• 편집 과정에서 다중 정답 레이블을 동시에 처리함으로써 지식 왜곡을 완화하는 새로운 기법인 다중 레이블 편집(Multi-Label Edit, MLE)을 제안하기.
• 현재의 편집 기법이 편집 대상 외의 사실 지식에 대해 모델 성능을 떨어뜨린다는 경험적 증거를 제공하여 실세계 적용 시 리스크를 부각하기.

제안 방법

• 지식 충돌에 대한 취약성을 평가하기 위해 논리적 모순을 유도하는 편집 쌍을 포함하는 ConflictEdit 벤치마크를 제안하였다.
• 편집 사이클을 시뮬레이션하여 모델이 편집 후 복구 가능한지 평가함으로써 지식 왜곡을 드러내는 RoundEdit 벤치마크를 설계하였다.
• 단일 편집 작업에서 다중 정답을 동시에 처리함으로써 모델의 원래 지식 구조를 유지하는 Multi-Label Edit (MLE) 기법을 도입하였다.
• 편집된 모델의 목표 지식과 관련 없는 사실 지식에 대한 성능을 정량화하기 위해 내재적 지표인 IR(Intrinsic Recall)와 FR(Factual Recall)를 사용하였다.
• GPT-4와 LLaMA 기반 모델을 사용하여 쉽게 구현 가능한 설정과 어려운 설정에서의 편집 기법을 제어 실험을 통해 평가하였다.
• 평가 이전에 편집 쌍 간의 잠재적 충돌을 탐지하기 위해 논리적 규칙 기반 분석과 지식 그래프 추론을 활용하였다.

실험 결과

연구 질문

• RQ1 지식 편집 기법이 논리적으로 모순되는 사실 그룹에 적용되었을 때 얼마나 실패하는가?
• RQ2 지식 편집이 모델의 암묵적 지식 구조에 영구적인 손상을 줄 수 있는가, 즉 반복 편집 시도 후에도 복구되지 않는가?
• RQ3 기존의 편집 기법은 편집 대상 외의 사실 지식에 대해 어떻게 작동하는가? 이는 잠재적인 부작용을 시사한다.
• RQ4 다중 정답 레이블을 동시에 처리하는 단일 편집 전략이 기존의 단일 편집 방식에 비해 지식 왜곡을 줄일 수 있는가?
• RQ5 편집이 목표 지식과 비목표 지식에 대한 모델의 복귀율에 미치는 정량적 영향은 어떠한가?

주요 결과

• 기존의 지식 편집 기법은 지식 충돌 문제를 야기하며, 이는 논리적으로 모순되는 사실에 대한 편집(예: '마리의 남편은 피에르'와 ' Jacques의 아내는 마리')으로 인해 모델이 정확한 사실을 검색하지 못하게 하고 일관성이 손상되는 결과를 초래한다.
• Round-Edit 실험 결과, 원래 모델을 복원하기 위한 반대 편집을 尽管 시도했지만, 원래 사실(예: 조 바이든의 출생지)에 대한 성능이 크게 떨어져 지속적인 지식 왜곡이 발생했음을 확인하였다.
• 쉬운 설정에서 ROME 및 MEMIT 기법은 50% 이상의 참 레이블에서 실패했으며, 이는 지식 편집이 관련 없는 사실 지식의 복귀율을 해칠 수 있음을 보여준다.
• 다중 레이블 편집(Multi-Label Edit, MLE) 기법은 지식 왜곡을 크게 감소시켜 기존의 편집 방식보다 참 레이블에 대한 성능 유지 능력이 뛰어나게 되었다.
• ConflictEdit 벤치마크는 모든 평가된 편집 기법이 논리적으로 모순되는 편집 쌍을 처리할 때 지식 충돌에 취약함을 드러냈다.
• RoundEdit 벤치마크는 조그만 편집 조차도 모델의 내부 지식 그래프를 영구적으로 손상시킬 수 있음을 입증하였다.