[논문 리뷰] Cross-Lingual Knowledge Editing in Large Language Models

Jiaan Wang, Yunlong Liang외 4명|arXiv (Cornell University)|2023. 09. 16.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 다국어 대규모 언어 모델(LLMs)에서의 다국어 지식 편집을 조사하며, 영어 지식 편집 예제를 중국어로 번역하여 双어 ZsRE 기반 데이터셋(Bi-ZsRE)을 제안한다. LLaMA, LLaMA2 및 Baichuan 모델을 대상으로 다양한 편집 방법을 평가한 결과, 한 언어에서의 지식 편집이 다른 언어로 잘 전이되지 않으며, 다국어 일반성과 국소성에서 심각한 성능 저하가 발생함을 확인하여, 여러 언어 간 일관된 행동을 유지하는 데 있어 주요 과제임을 시사한다.

ABSTRACT

Knowledge editing aims to change language models' performance on several special cases (i.e., editing scope) by infusing the corresponding expected knowledge into them. With the recent advancements in large language models (LLMs), knowledge editing has been shown as a promising technique to adapt LLMs to new knowledge without retraining from scratch. However, most of the previous studies neglect the multi-lingual nature of some main-stream LLMs (e.g., LLaMA, ChatGPT and GPT-4), and typically focus on monolingual scenarios, where LLMs are edited and evaluated in the same language. As a result, it is still unknown the effect of source language editing on a different target language. In this paper, we aim to figure out this cross-lingual effect in knowledge editing. Specifically, we first collect a large-scale cross-lingual synthetic dataset by translating ZsRE from English to Chinese. Then, we conduct English editing on various knowledge editing methods covering different paradigms, and evaluate their performance in Chinese, and vice versa. To give deeper analyses of the cross-lingual effect, the evaluation includes four aspects, i.e., reliability, generality, locality and portability. Furthermore, we analyze the inconsistent behaviors of the edited models and discuss their specific challenges. Data and codes are available at https://github.com/krystalan/Bi_ZsRE

연구 동기 및 목표

• 다국어 LLM에서 편집을 한 언어와 평가를 다른 언어에서 수행할 경우의 다국어 효과를 조사하기 위해.
• LLaMA, LLaMA2 및 Baichuan와 같은 다국어 LLM에서 기존 지식 편집 방법이 편집된 지식을 다국어 간 효과적으로 전이할 수 있는지 검토하기 위해.
• 다른 언어 간 편집 모델의 신뢰성, 일반성, 국소성, 이식 가능성에 대해 분석하여 다국어 행동에서의 일관성 없는 점과 과제를 규명하기 위해.
• 원본 ZsRE 데이터셋을 영어에서 중국어로 번역하여 대규모 이중어 지식 편집 데이터셋(Bi-ZsRE)을 구축하기 위해.

제안 방법

• 저자들은 최신 기술 기반의 LLM(예: ChatGPT 및 GPT-4)를 사용하여 ZsRE 데이터셋을 영어에서 중국어로 자동 번역하여 이중어 데이터셋인 Bi-ZsRE를 구축한다.
• 메모리 기반(SERAC, MEMIT), 메타학습(MEND, IKE), 그리고 위치 지정 후 편집(ROME, KN, FT)에 속하는 총 일곱 가지 지식 편집 방법을 다국어 LLM에서 평가한다.
• 평가 기준은 네 가지 차원으로 나뉘며, 각각은 신뢰성(정확성), 일반성(다시 표현된 프롬프트에서의 성능), 국소성(범위 외 사실의 유지), 이식 가능성(추론 기반 질문으로의 일반화)을 포함한다.
• 다국어 전이 평가를 위해, 영어에서 편집한 모델을 중국어에서 평가하고, 반대로 중국어에서 편집한 모델을 영어에서 평가하며, 언어 불일치를 고려하기 위해 엄격한 및 유연한 평가 설정을 모두 사용한다.
• 유연한 평가 설정은 목표 언어 프롬프트에 대해 원본 언어와 대상 언어의 정답을 모두 수용함으로써 언어 불일치의 영향을 줄인다.
• 실험은 중국어-LLaMA-2-7B 및 기타 다국어 LLM에서 수행되며, 편집 언어와 평가 언어 간 F1 점수 및 EM 점수를 포함한 정량적 지표를 사용한다.

실험 결과

연구 질문

• RQ1 한 언어(예: 영어)에서 수행된 지식 편집이 다른 언어(예: 중국어)로 성공적으로 전이될 수 있는가?
• RQ2 다국어 LLM에서 신뢰성, 일반성, 국소성, 이식성 측면에서 지식 편집 방법의 성능이 언어 간 어떻게 달라지는가?
• RQ3 한 언어에서의 편집이 다른 언어에서의 모델 행동, 특히 국소성과 예상치 못한 지식 변화 측면에서 어떤 영향을 미치는가?
• RQ4 언어 간 언어 모델링 능력 격차가 지식 편집의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ5 지식 전이와 언어 불일치와 관련하여 다국어 지식 편집에서 관찰되는 특정 과제와 일관성 없는 행동은 무엇인가?

주요 결과

• 한 언어에서의 지식 편집이 다른 언어로 잘 전이되지 않음: SERAC(En)는 영어 일반성에서 F1 점수 83.64를 기록했지만 중국어에서는 28.46에 그침. 반면 SERAC(Zh)는 중국어에서 F1 점수 67.93를 기록했지만 영어에서는 15.00에 그침.
• 편집 방법의 다국어 일반성은 심각하게 제한됨: 대부분의 방법에서 비편집 언어에서 평가할 경우 성능이 50퍼센트 이상 감소함.
• 한 언어에서의 편집이 다른 언어의 국소성에 영향을 미침: 예를 들어 MEND(En)는 영어 국소성에서 F1 점수 90.50, 중국어에서는 89.75를 기록하여 다국어 간 간섭이 발생함.
• 이식 가능성 성능은 언어 간에 극도로 낮음: 대부분의 방법이 의미적 지식을 내재화하기보다 표면적 어휘를 암기하기 때문임.
• 언어 불일치가 평가에 심각한 영향을 미침: 정답 기준을 원본 언어와 대상 언어의 정답 모두 수용하도록 유연하게 조정하면 일반성 점수가 약간 상승함으로써 언어 불일치가 실제지만 부가적인 혼란 요인임을 확인함.
• IKE는 높은 신뢰성을 보이지만 국소성이 열악함(예: 중국어 국소성에서 F1 점수 89.74): 이는 특히 국소성이 낮은 방법에서 예상치 못한 지식 변화 위험이 있음을 시사함.