[논문 리뷰] DocTER: Evaluating Document-based Knowledge Editing

Suhang Wu, Wang, Ante외 5명|arXiv (Cornell University)|2023. 08. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사실 삼중항 대신 원본 문서를 사용하여 대규모 언어 모델(Large Language Models, LLMs)의 지식 편집을 평가하기 위한 새로운 벤치마크인 Eva-KELLM을 소개한다. 이 프레임워크는 편집 효과성, 관련 없는 지식 유지, 수정된 사실을 활용한 추론, 다국어 간 전이 능력을 평가하며, 현재의 방법들이 직접 편집에는 개선되었지만 추론 능력과 다국어 일반화 능력에서는 여전히 심각한 어려움을 겪고 있음을 드러낸다.

ABSTRACT

Knowledge editing aims to correct outdated or inaccurate knowledge in neural networks. In this paper, we explore knowledge editing using easily accessible documents instead of manually labeled factual triples employed in earlier research. To advance this field, we establish the first evaluation benchmark, extit{DocTER}, featuring Documents containing counterfactual knowledge for editing. A comprehensive four-perspective evaluation is introduced: Edit Success, Locality, Reasoning, and Cross-lingual Transfer. To adapt conventional triplet-based knowledge editing methods for this task, we develop an Extract-then-Edit pipeline that extracts triples from documents before applying existing methods. Experiments on popular knowledge editing methods demonstrate that editing with documents presents significantly greater challenges than using triples. In document-based scenarios, even the best-performing in-context editing approach still lags behind by 10 points in editing success when compared to using gold triples. This observation also holds for both reasoning and cross-lingual test sets. We further analyze key factors influencing task performance, including the quality of extracted triples, the frequency and position of edited knowledge in documents, various methods for enhancing reasoning, and performance differences across various directions in cross-lingual knowledge editing, which provide valuable insights for future research.

연구 동기 및 목표

• 비용이 많이 들고 범위가 좁은 사실 삼중항에 의존하는 기존 지식 편집 벤치마크의 한계를 해결하기 위해.
• 편집 입력으로 원본 문서를 사용하여 보다 실용적이고 일반적인 평가 프레임워크를 개발하기 위해.
• 직접적인 편집 성공률뿐만 아니라 수정된 지식을 활용한 추론 능력과 다국어 전이 능력까지 종합적으로 평가하기 위해.
• 특히 추론 능력과 다국어 처리 능력 측면에서 현재의 지식 편집 방법에 존재하는 핵심적 격차를 규명하기 위해.

제안 방법

• 벤치마크는 사실 삼중항 기반 방법과 비교해 더 자연스럽고 확장 가능한 방식을 제공하기 위해 원본 문서를 지식 편집의 입력으로 사용한다.
• LLM의 평가를 네 가지 차원에서 수행한다: 직접 지식 편집 평가(DKEE), 관련 없는 지식 유지 평가(UKRE), 추론을 위한 간접 지식 편집 평가(IKEE), 다국어 전이를 위한 교차 언어 지식 편집 평가(CKEE).
• 모델이 원래 사실과 수정된 사실에 대해 가지는 확률 기반 점수를 활용하여 모델의 자신감을 측정함으로써 정량적 평가를 보장한다.
• 편집 성능에 대한 파rameter 수준의 영향을 분석하기 위해 특정 레이어(예: MLP 및 자기주의 어텐션)에 대해 LoRA를 활용한 미세조정을 적용한다.
• 다양한 사실 편집, 추론 질문, 다국어 쿼리 쌍을 포함하도록 데이터셋을 구성하여 종합적인 평가를 지원한다.
• LoRA 미세조정을 통해 다양한 모델 구성 요소(MLP, 자기주의 어텐션)를 대상으로 한 방법을 비교하여 효과적인 편집 전략을 분리한다.

실험 결과

연구 질문

• RQ1 원본 문서를 사용한 지식 편집이 사실 삼중항 기반 방법보다 더 높은 효과성과 더 넓은 적용 가능성을 가질 수 있는가?
• RQ2 편집된 LLM이 수정된 지식을 단순히 암기하는 것 외에, 얼마나 정확하게 새로운 지식을 활용해 추론할 수 있는가?
• RQ3 학습 문서의 언어와 다를 경우, 현재의 편집 방법이 다국어 환경에서 얼마나 잘 일반화되는가?
• RQ4 특정 모델 레이어는 성공적인 지식 편집에 어떤 역할을 하는가? 그리고 어떤 레이어가 파arameter 조정에 가장 효과적인가?

주요 결과

• +LoRA(Self-attention+MLP) 방법은 BLOOM-3B에서 ES 점수를 23.88에서 44.33으로 향상시켜 직접 편집에서 뚜렷한 진전을 보였지만, 관련 없는 지식 유지 능력이 감소하는 대가를 치르었다.
• UKRE 지표는 DKEE 성능 향상가능성이 높은 관련 없는 지식 유지 능력 악화를 암시하며, 핵심적인 상충 관계를 드러냈다.
• 수정된 지식을 활용한 추론 능력은 여전히 취약했으며, BLOOM-7.1B에서 가장 높은 IKEE 정확도는 48.00에 불과하여 수정된 사실이 추론에 제대로 통합되지 못하고 있음을 시사했다.
• 교차 언어 지식 전이는 심각하게 제한되어 있었으며, CES 점수는 ES 점수보다 뚜렷하게 낮아, 타겟 언어 외 언어로의 일반화 능력이 열악함을 보여주었다.
• 모델의 중간 레이어(11–20)가 편집에 가장 효과적이었으며, +LoRA(MLP 11–20) 및 +LoRA(Self-attention 11–20)가 다른 레이어 그룹보다 뛰어난 성능을 보였다.
• 더 큰 모델(BLOOM-7.1B)은 더 작은 모델(BLOOM-3B)보다 편집 방법으로부터 더 큰 향상을 보였으며, 이는 모델 규모가 편집 가능성에 기여함을 시사했다.