[논문 리뷰] Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges

Nianwen Si, Hao Zhang외 4명|arXiv (Cornell University)|2023. 11. 27.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토에서는 대규모 언어 모델(Large Language Models, LLMs)을 위한 지식 언러닝을 소개하며, 전체 모델을 재학습하지 않고도 유해하거나 잘못된 지식을 효율적으로 제거할 수 있는 프레임워크를 제안한다. 이는 파라미터 최적화, 파라미터 병합, 인컨텍스트 학습으로 나누어진 방법들을 제시하며, 특정 지식을 제거함으로써 관련 없는 지식을 유지하면서 악성 또는 오류 발생 위험을 완화함을 입증한다.

ABSTRACT

In recent years, large language models (LLMs) have spurred a new research paradigm in natural language processing. Despite their excellent capability in knowledge-based question answering and reasoning, their potential to retain faulty or even harmful knowledge poses risks of malicious application. The challenge of mitigating this issue and transforming these models into purer assistants is crucial for their widespread applicability. Unfortunately, Retraining LLMs repeatedly to eliminate undesirable knowledge is impractical due to their immense parameters. Knowledge unlearning, derived from analogous studies on machine unlearning, presents a promising avenue to address this concern and is notably advantageous in the context of LLMs. It allows for the removal of harmful knowledge in an efficient manner, without affecting unrelated knowledge in the model. To this end, we provide a survey of knowledge unlearning in the era of LLMs. Firstly, we formally define the knowledge unlearning problem and distinguish it from related works. Subsequently, we categorize existing knowledge unlearning methods into three classes: those based on parameter optimization, parameter merging, and in-context learning, and introduce details of these unlearning methods. We further present evaluation datasets used in existing methods, and finally conclude this survey by presenting the ongoing challenges and future directions.

연구 동기 및 목표

• LLMs가 악성 또는 편향된 출력을 유도할 수 있는 해로운 또는 잘못된 지식을 유지할 위험을 해결하기 위해.
• 대규모 LLMs에서 지식 삭제를 위한 전체 재학습이 비현실적이라는 점을 극복하기 위해.
• 기존의 지식 언러닝 방법을 LLMs의 맥락에서 체계적으로 분류하고 분석하기 위해.
• 미래 연구를 위한 평가 기준과 열린 과제를 제공하기 위해.

제안 방법

• 지식 언러닝 문제를 공식적으로 정의하며, 데이터 추출 및 모델 다이스틸레이션과 같은 관련 개념과의 차이를 명확히 한다.
• 언러닝 방법을 세 가지 유형으로 분류한다: 파라미터 최적화(예: 언러닝 신호를 활용한 피넷튜닝), 파라미터 병합(예: 언러닝 업데이트와 모델 가중치 병합), 인컨텍스트 학습(예: 가중치 수정 없이 프롬프트 기반 언러닝).
• 지식 제거 방식과 모델 파라미터에 미치는 영향에 기반해 언러닝 기법의 분류 체계를 제안한다.
• 다양한 방법 간의 언러닝 성능을 평가하기 위해 사용된 평가 데이터셋을 도입한다.
• 언러닝 효과성, 관련 없는 과제에 대한 모델 정확도, 계산 효율성 간의 상충 관계를 분석한다.
• 언러닝된 데이터와 관련 없는 사실 지식을 유지하는 것이 중요하며, 이는 언러닝 후 모델의 유용성을 보장한다.

실험 결과

연구 질문

• RQ1 LLMs 맥락에서 지식 언러닝은 무엇을 의미하며, 모델 다이스틸레이션 또는 데이터 추출과 어떻게 다릅니까?
• RQ2 파라미터 최적화, 파라미터 병합, 인컨텍스트 학습 방법은 LLMs에서 특정 유해하거나 잘못된 지식을 얼마나 효과적으로 제거합니까?
• RQ3 언러닝을 통해 관련 없는 지식에 대한 성능 저하 없이 얼마나 높은 수준의 언러닝을 달성할 수 있습니까?
• RQ4 현재 LLMs에서 언러닝 효과성을 평가하기 위해 사용되는 평가 기준과 메트릭은 무엇입니까?
• RQ5 다양한 LLM 아키텍처와 데이터셋에 걸쳐 지식 언러닝 방법을 확장하고 일반화하는 데 있어 핵심 과제와 열린 문제는 무엇입니까?

주요 결과

• 전체 재학습을 피하는 타겟된 방법을 통해 LLMs에서 지식 언러닝이 가능하며, 이는 계산 비용을 크게 줄인다.
• 파라미터 최적화 방법은 강력한 언러닝 성능를 보이지만, 정규화가 충분하지 않으면 언러닝된 예제에 과적합될 위험이 있다.
• 파라미터 병합 기법은 더 많은 일반 지식을 유지하며 피넷튜닝 기반 접근보다 더 뛰어난 강건성을 보인다.
• 인컨텍스트 학습은 파라미터가 없는 언러닝 솔루션을 제공하지만, 특정 프롬프트 설계에 의존하며 다양한 지식 유형에 일반화되기 어려운 한계가 있다.
• 지식 언러닝을 위한 평가 기준은 여전히 발전 중이며, 데이터셋과 메트릭 간 표준화가 부족한 상태이다.
• 핵심 과제로는 고파라미터 모델에서 특히, 언러닝 효과성과 관련 없는 사실 지식의 유지 간 균형을 맞추는 것이 남아 있다.