[논문 리뷰] Evaluating the Ripple Effects of Knowledge Editing in Language Models

Roi Cohen, Eden Biran외 3명|arXiv (Cornell University)|2023. 07. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 언어 모델의 지식 편집에서 발생하는 리버브 효과(ripple effects)—즉, 한 사실을 편집했을 때 유도되는 뜻하지 않은 또는 간과된 논리적 결과—를 평가하기 위한 벤치마크인 RippleEdits를 소개한다. 기존의 파rametric 편집 방법들은 관련 사실로의 편집 전파를 일관되게 수행하지 못하는 것으로 나타났고, 반면 간단한 인라인 컨텍스트 편집 베이스라인은 이러한 방법들을 능가하는 성능을 보였으며, 이는未래 연구에 대한 유망한 새로운 방향성을 시사한다.

ABSTRACT

Modern language models capture a large body of factual knowledge. However, some facts can be incorrectly induced or become obsolete over time, resulting in factually incorrect generations. This has led to the development of various editing methods that allow updating facts encoded by the model. Evaluation of these methods has primarily focused on testing whether an individual fact has been successfully injected, and if similar predictions for other subjects have not changed. Here we argue that such evaluation is limited, since injecting one fact (e.g. ``Jack Depp is the son of Johnny Depp'') introduces a ``ripple effect'' in the form of additional facts that the model needs to update (e.g.``Jack Depp is the sibling of Lily-Rose Depp''). To address this issue, we propose a novel set of evaluation criteria that consider the implications of an edit on related facts. Using these criteria, we then construct RippleEdits, a diagnostic benchmark of 5K factual edits, capturing a variety of types of ripple effects. We evaluate prominent editing methods on RippleEdits, showing that current methods fail to introduce consistent changes in the model's knowledge. In addition, we find that a simple in-context editing baseline obtains the best scores on our benchmark, suggesting a promising research direction for model editing.

연구 동기 및 목표

• 기존의 지식 편집 평가가 목표 사실만을 다루고 관련 사실적 영향을 忽略하는 한계를 해결하기 위해.
• 단일 편집으로 유도되는 논리적 결과—즉, 모델 지식 내에서 함께 수정되어야 할 '리버브 효과'—를 식별하고 체계화하기 위해.
• 다양한 사실적 관계를 통해 이러한 리버브 효과를 어떻게 잘 다루는지 테스트하는 종합적 벤치마크인 RippleEdits를 개발하기 위해.
• 최신의 파rametric 편집 방법들을 이 벤치마크에서 평가하고, 단순한 인라인 컨텍스트 편집 베이스라인과 비교하기 위해.
• 현재의 편집 방법에서 나타나는 체계적인 실패 원인을 밝혀내고, 향후 연구가 더 견고하고 논리적으로 일관된 편집으로 나아가도록 이끌기 위해.

제안 방법

• 리버브 효과를 테스트하기 위한 6개의 평가 기준을 제안함—논리적 추론, 주제 별 별칭, 관계의 특이성, 다단계 사실 조합 포함.
• 5,000개의 사실 편집과 관련된 테스트 쿼리가 포함된 진단용 벤치마크인 RippleEdits를 구축함.
• Wikidata를 지식 소스로 사용하여 편집과 관련된 사실적 질의를 생성하고, 엔티티의 인기도 및 편집 최신성에 대한 메타데이터도 포함함.
• 세 가지 주요 파rametric 편집 방법(RIME, ICE)과 단순한 인라인 컨텍스트 편집 베이스라인을 평가하며, 최근의 5개의 언어 모델(GPT-2, GPT-Neo, LLaMA, GPT-3)을 대상으로 분석함.
• 실패 유형을 '영향 없음', '기피', '노이즈'로 분류하여 편집이 어디서, 왜 실패하는지 분석함.
• 정량적 지표—리버브 효과 질의에서의 정확도, 오류 유형 분포—를 사용하여 방법 간 성능 비교함.

Figure 1: Illustration of the evaluation scope of RippleEdits , compared to existing knowledge editing benchmarks. For a given factual edit, we consider the “ripple effect” of the edit on the model’s knowledge.

실험 결과

연구 질문

• RQ1 현재의 지식 편집 방법들이 논리적으로 관련된 사실들로의 편집 전파(리버브 효과)를 얼마나 잘 수행하는가?
• RQ2 편집된 사실에 의존하는 복잡한 다단계 사실 추론 작업에서 다양한 편집 방법의 성능은 어떻게 다른가?
• RQ3 모델 크기나 엔티티 빈도에 따라 편집 방법의 성능이 달라지며, 만약 그렇다면 그 관계는 어떠한가?
• RQ4 간단한 인라인 컨텍스트 편집 접근 방식이 리버브 효과를 포괄하는 데 있어 복잡한 파rametric 편집 방법보다 뛰어나게 성능을 낼 수 있는가?
• RQ5 현재의 편집 방법에서 리버브 효과 평가에 적용했을 때 지배적인 실패 유형(예: 변화 없음, 기피, 노이즈)은 무엇인가?

주요 결과

• ROME 및 ICE와 같은 현재의 파rametric 편집 방법들은 관련 사실의 일관성 있는 업데이트를 수행하지 못하며, 실패의 68% 이상에서 잘못된 변경이 발생함.
• 인라인 컨텍스트 편집 베이스라인은 RippleEdits에서 모든 평가된 모델에서 가장 높은 정확도를 기록하며, 모든 파rametric 방법들을 능가함.
• 더 큰 모델(LaMA 등)은 더 작은 모델(GPT-2 등)보다 리버브 효과를 더 잘 처리함—모델 규모와 리버브 효과에 대한 견고성 간의 정적 상관관계를 시사함.
• 빈도가 높은 엔티티를 편집할 경우 논리적 추론 오류가 더 많이 발생함—높은 빈도의 엔티티가 리버브 효과 상황에서 오인의 위험이 더 높다는 것을 시사함.
• GPT-3의 경우, LG 유형의 질의에서 높은 기피율(49%)을 보이며, 이는 LLaMA에 비해 성능이 떨어지는 이유를 설명할 수 있음.
• 샘플링된 200건의 실패 사례에서, ROME는 31~45%의 경우에서 잘못된 변경을 유도했고, ICE는 65~71%의 경우에서 모델이 기피 행동을 보였음—이러한 실패 프로파일이 서로 다름.

Figure 2: An illustration of our evaluation criteria, for an edit that simulates adding a sibling to the subject entity Prince , shown at the top of each graph with a bold arrow and an edit sign over the Sibling relation. For each criterion, the tested subject and target object are circles with dash