[논문 리뷰] Detoxifying Large Language Models via Knowledge Editing

Mengru Wang, Ningyu Zhang외 8명|arXiv (Cornell University)|2024. 03. 21.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 지식 편집 기법인 DINM을 제안하며, 문맥적 의미와 수술 중 신경 모니터링을 활용해 대량 언어 모델 내 유해 영역를 직접 타겟으로 삼고 수정함으로써 성능 저하를 최소화하면서 강력한 유해성 제거를 달성한다. 이는 LLaMA2-7B-Chat에서 43.51%에서 86.74%로, Mistral-7B-v0.1에서 47.30%에서 96.84%로, 분포 외의 악성 프롬프트에 대한 일반화 성능을 크게 향상시키며, 한 개의 튜닝 인스턴스만 필요로 하고 추가 학습이 없음을 보여준다.

ABSTRACT

This paper investigates using knowledge editing techniques to detoxify Large Language Models (LLMs). We construct a benchmark, SafeEdit, which covers nine unsafe categories with various powerful attack prompts and equips comprehensive metrics for systematic evaluation. We conduct experiments with several knowledge editing approaches, indicating that knowledge editing has the potential to detoxify LLMs with a limited impact on general performance efficiently. Then, we propose a simple yet effective baseline, dubbed Detoxifying with Intraoperative Neural Monitoring (DINM), to diminish the toxicity of LLMs within a few tuning steps via only one instance. We further provide an in-depth analysis of the internal mechanism for various detoxifying approaches, demonstrating that previous methods like SFT and DPO may merely suppress the activations of toxic parameters, while DINM mitigates the toxicity of the toxic parameters to a certain extent, making permanent adjustments. We hope that these insights could shed light on future work of developing detoxifying approaches and the underlying knowledge mechanisms of LLMs. Code and benchmark are available at https://github.com/zjunlp/EasyEdit.

연구 동기 및 목표

• 안정화된 LLM이 사전 안전성 파인튜닝에도 불구하고 악성 프롬프트에 취약하여 해로운 출력을 유도하는 문제를 해결하기 위해.
• 지식 편집이 특정 유해 파rameter 영역를 수정하여 정밀하고 효율적이며 영구적인 LLM의 유해성 제거를 가능하게 할 수 있는지 조사하기 위해.
• 9개의 불안전 카테고리와 악성 공격 템플릿을 포함하는 벤치마크인 SafeEdit를 개발하여, 유해성 제거 방법을 체계적으로 평가하기 위해.
• 다양한 유해성 제거 방법의 내부 메커니즘을 분석하고, 특히 활성화 억제와 유해 영역의 영구적 수정을 구분하기 위해.
• 유해 영역에 대한 위치 인식 편집이 활성화 억제보다 더 강력하고 일반화 가능한 안전성 향상을 이끌 수 있음을 보여주기 위해.

제안 방법

• 악성 프롬프트에서의 문맥적 의미를 활용해 LLM 내 유해 영역를 식별하는 DINM(Detoxifying with Intraoperative Neural Monitoring) 기법을 제안한다.
• Jigsaw 데이터셋으로 훈련된 유해성 프로브를 사용하여, 모델 파라미터와 프로브의 가중치 간의 코사인 유사도를 측정함으로써 유해성 수준을 정량화한다.
• 식별된 유해 영역 내 파라미터를 직접 수정함으로써 유해성을 제거하는 것을 목표로 지식 편집을 적용하며, 활성화를 억제하는 것이 아니라 유해성 자체를 제거한다.
• 편집에 단일 악성 인스턴스만 사용하여, 전체 파인튜닝 없이도 효율적이고 소수의 스텝으로 튜닝이 가능하도록 한다.
• 중간 레이어 표현(hℓ_mid)의 활성화 이동을 시각화하여, SFT와 DPO가 유해 영역로의 정보 흐름에 어떻게 영향을 미치는지 분석한다.
• 방어 성공률, OOD 입력에 대한 일반화 성능, 성능 유지도를 측정하는 세 가지 지표를 사용해 유해성 제거를 평가하는 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 지식 편집 기법이 활성화 억제가 아니라 특정 유해 파rameter 영역를 수정함으로써 LLM의 유해성을 효과적이고 영구적으로 제거할 수 있는가?
• RQ2 다양하고 분포 외의 악성 프롬프트에 대해, 유해성 제거된 모델의 일반화 성능는 어떻게 변하는가?
• RQ3 정밀한 유해 영역 지역화가 유해성 제거의 효과성과 강건성에 어떤 영향을 미치는가?
• RQ4 기존의 SFT와 DPO와 같은 전통적 방법은 DINM과 비교해 내부 메커니즘에서 어떻게 다를까?
• RQ5 단일 편집 인스턴스의 품질이 유해성 제거 모델의 일관성과 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• DINM은 LLaMA2-7B-Chat에서 일반화된 유해성 제거 성공률을 43.51%에서 86.74%로, Mistral-7B-v0.1에서는 47.30%에서 96.84%로 높여, OOD 악성 입력에 대한 강력한 일반화 능력을 입증한다.
• 이 성과는 오직 한 개의 튜닝 인스턴스만 사용하고 추가 학습이 없이 달성되어 매우 효율적이다.
• 다양한 편집 인스턴스를 사용할 경우 성능에 상당한 변동성이 나타나며, 일부 지표에서 표준편차가 최대 4.63까지 발생하여 인스턴스 품질에 민감함을 보여준다.
• DINM은 유해 영역를 영구적으로 수정하지만, SFT와 DPO는 주로 유해 활성화를 억제할 뿐 기저의 유해 파라미터를 수정하지 않는다.
• 활성화 이동 분석 결과, DPO와 SFT는 정보 흐름을 유해 영역에서 방향 전환하지만, DINM은 유해 파라미터 자체를 수정함으로써 더 강력한 유해성 제거 효과를 낳는다.
• 정밀한 유해 영역 지역화는 유해성 제거 성공에 핵심적인 요소이며, 정확한 지역화 없이선 효과적인 일반화가 이루어지지 않는다.