[논문 리뷰] Rethinking Machine Unlearning for Large Language Models

Sijia Liu, Yuanshun Yao외 12명|arXiv (Cornell University)|2024. 02. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 위한 머신 언러닝을 재고하며, 민감한, 불법적인, 또는 환상적인 콘텐츠와 같은 바람직하지 않은 데이터의 영향을 제거하면서도 핵심 지식과 성능을 유지하는 종합적인 프레임워크를 제안한다. 정확한 범위 정의, 데이터-모델 상호작용, 그리고 적대적 평가를 강조하는 정교화된 언러닝 파рад림을 도입함으로써, 전체 재학습 없이도 신뢰할 수 있고 안전하며 효율적인 AI 시스템을 위한 LLM 언러닝의 필수성과 함께 위치를 정립한다.

ABSTRACT

We explore machine unlearning (MU) in the domain of large language models (LLMs), referred to as LLM unlearning. This initiative aims to eliminate undesirable data influence (e.g., sensitive or illegal information) and the associated model capabilities, while maintaining the integrity of essential knowledge generation and not affecting causally unrelated information. We envision LLM unlearning becoming a pivotal element in the life-cycle management of LLMs, potentially standing as an essential foundation for developing generative AI that is not only safe, secure, and trustworthy, but also resource-efficient without the need of full retraining. We navigate the unlearning landscape in LLMs from conceptual formulation, methodologies, metrics, and applications. In particular, we highlight the often-overlooked aspects of existing LLM unlearning research, e.g., unlearning scope, data-model interaction, and multifaceted efficacy assessment. We also draw connections between LLM unlearning and related areas such as model editing, influence functions, model explanation, adversarial training, and reinforcement learning. Furthermore, we outline an effective assessment framework for LLM unlearning and explore its applications in copyright and privacy safeguards and sociotechnical harm reduction.

연구 동기 및 목표

• 기억된 민감한, 편향된, 또는 불법적인 데이터로 인해 발생하는 LLMs의 증가하는 윤리적 및 보안 위험을 해결하기 위해.
• 전체 재학습 없이도 특정 데이터 영향을 제거할 수 있는 원칙적이고 확장 가능한 언러닝 접근법을 개발하기 위해.
• 범위 정밀도, 데이터-모델 상호작용, 그리고 적대적 강건성과 같은 언러닝 분야에서 간과된 차원을 식별하고 해결하기 위해.
• 모델 편집, 영향 함수, 적대적 훈련과 같은 관련 분야와의 연결을 통해 방법론적 시너지를 이루기 위해.
• 다양한 안전성 및 신뢰성 기준에 걸쳐 언러닝 효과성을 평가하기 위한 표준화된 평가 프레임워크를 수립하기 위해.

제안 방법

• 데이터 영향과 모델 능력 제거를 구분하는 LLM 언러닝을 위한 개념적 프레임워크를 제안한다.
• 정밀도, 재현율, 그리고 적대적 테스트를 포함하는 다차원 평가 전략을 도입하여 언러닝 효과성을 평가한다.
• 영향력 있는 파라미터를 식별함으로써 효율성과 대상 특이성을 향상시키기 위해 국소화 기반 언러닝을 강조한다.
• 영향 함수와 모델 편집 기법을 활용하여 파rameter 공간에서 데이터 효과를 추적하고 역행한다.
• 프롬프트 기반 회피 공격과 백도어 스타일 공격에 대한 강건성을 테스트하기 위해 적대적 평가를 통합한다.
• 내재적 지표(예: 언러닝된 데이터에 대한 정확도)와 외재적 벤치마크(예: 공정성, 독성 감소)를 결합한 통합 평가 파이프라인을 제안한다.

Figure 1: Demonstration of how MU can be incorporated into LLM development cycle. The landscape of LLM unlearning will be mainly navigated from applications (‘why’), methods (‘where’ and ‘how’), and evaluations.

실험 결과

연구 질문

• RQ1 어떻게 하면 특정 데이터 영향만 제거하면서 관련 없는 모델 능력에 영향을 주지 않고 정확하게 언러닝 범위를 정의할 수 있는가?
• RQ2 현재 LLM 언러닝 접근법에서의 주요 방법론적 및 평가 격차는 무엇인가?
• RQ3 데이터-모델 상호작용은 언러닝 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 언러닝을 모델 편집 및 영향 함수와 같은 관련 분야와 연결하여 효과를 높일 수 있는 방법은 무엇인가?
• RQ5 장기적으로 언러닝은 신뢰할 수 있고 안전하며 자원 효율적인 LLMs를 구축하는 데 어떤 영향을 미치는가?

주요 결과

• 현재 LLM 언러닝 방법들은 일관되지 않은 평가 프로토콜과 표준화된 코퍼스의 부족으로 인해 재현성과 비교 가능성에 한계가 있다.
• 정밀한 언러닝 범위 정의가 과잉 또는 과소 언러닝을 방지하기 위해 매우 중요하며, 국소화 기반 방법이 효율성과 효과성 향상에 기여한다.
• 적대적 평가에서 많은 언러닝 방법이 프롬프트 기반 회피 공격에 실패하는 것으로 드러나, 강건성 테스트의 필요성을 강조한다.
• 사실적으로 잘못되었거나 스테레오타입적인 훈련 데이터를 대상으로 언러닝을 적용하면 환상과 편향을 효과적으로 줄일 수 있다.
• 언러닝과 모델 편집 사이에는 강력한 개념적 및 방법론적 연결이 있지만, 수식과 목적이 다름—언러닝은 영향 제거에 집중하는 반면, 편집은 능력 수정에 집중한다.
• 언러닝을 영향 함수 및 적대적 훈련과 통합함으로써 더 신뢰할 수 있고 안정적인 LLMs를 향한 유망한 길이 열린다.