[論文レビュー] Rethinking Machine Unlearning for Large Language Models

Sijia Liu, Yuanshun Yao+12 more|arXiv (Cornell University)|Feb 13, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）における機械的アンラーニングを再考し、感受性のある、違法な、または幻覚的なコンテンツなどの望ましくないデータの影響を削除する包括的なフレームワークを提案する。同時に、コアな知識とパフォーマンスを維持する。精密な範囲定義、データ-モデルの相互作用、および敵対的評価を重視する洗練されたアンラーニングパラダイムを導入し、完全再訓練なしに信頼性があり、安全で、効率的なAIシステムを実現するためのLLMアンラーニングの重要性を強調する。

ABSTRACT

We explore machine unlearning (MU) in the domain of large language models (LLMs), referred to as LLM unlearning. This initiative aims to eliminate undesirable data influence (e.g., sensitive or illegal information) and the associated model capabilities, while maintaining the integrity of essential knowledge generation and not affecting causally unrelated information. We envision LLM unlearning becoming a pivotal element in the life-cycle management of LLMs, potentially standing as an essential foundation for developing generative AI that is not only safe, secure, and trustworthy, but also resource-efficient without the need of full retraining. We navigate the unlearning landscape in LLMs from conceptual formulation, methodologies, metrics, and applications. In particular, we highlight the often-overlooked aspects of existing LLM unlearning research, e.g., unlearning scope, data-model interaction, and multifaceted efficacy assessment. We also draw connections between LLM unlearning and related areas such as model editing, influence functions, model explanation, adversarial training, and reinforcement learning. Furthermore, we outline an effective assessment framework for LLM unlearning and explore its applications in copyright and privacy safeguards and sociotechnical harm reduction.

研究の動機と目的

• 感受性のある、偏見のある、または違法なデータの記憶が原因で生じるLLMにおける増大する倫理的・セキュリティリスクに対処すること。
• 完全再訓練なしに、特定のデータの影響を除去する、原理的かつスケーラブルなアンラーニング手法を開発すること。
• 範囲の正確さ、データ-モデルの相互作用、敵対的耐性といった、これまでに見過ごされてきたアンラーニングの次元を特定し、それらに対処すること。
• モデル編集、影響関数、敵対的訓練といった関連分野とつなげることで、メソドロジカルな連携を図ること。
• 多様な安全性と信頼性基準にわたるアンラーニング効果を評価するための標準化された評価フレームワークを確立すること。

提案手法

• データの影響とモデル能力の削除を区別するLLMアンラーニングの概念的フレームワークを提唱する。
• 正確性、再現率、および敵対的テストを統合した多角的評価戦略を導入し、アンラーニング効果を評価する。
• 影響を及ぼすパラメータを特定することで、局所化に裏付けられたアンラーニングを強調し、効率性とターゲット特異性を向上させる。
• 影響関数とモデル編集技術を活用し、パラメータ空間におけるデータ効果の追跡と逆転を実現する。
• プロンプトベースの回避攻撃やバックドア型攻撃に対する耐性をテストするための敵対的評価を統合する。
• 内在的指標（例：アンラーニング済みデータにおける正答率）と外在的ベンチマーク（例：公平性、毒性低減）を統合した統一された評価パイプラインを提案する。

Figure 1: Demonstration of how MU can be incorporated into LLM development cycle. The landscape of LLM unlearning will be mainly navigated from applications (‘why’), methods (‘where’ and ‘how’), and evaluations.

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、関連のないモデル能力に影響を与えることなく、特定のデータの影響のみを正確に削除できるか？
• RQ2 現在のLLMアンラーニング手法における主なメソドロジカルおよび評価のギャップは何か？
• RQ3 データ-モデルの相互作用は、アンラーニングのパフォーマンスと一般化にどのように影響するか？
• RQ4 モデル編集や影響関数といった関連分野とどのようにつなげることで、アンラーニングの効果を高められるか？
• RQ5 アンラーニングが、信頼性があり、安全で、リソース効率の良いLLMを構築する上で、長期的にどのような影響を及えるか？

主な発見

• 現在のLLMアンラーニング手法は、一貫性のない評価プロトコルと標準化されたコーパスの欠如により、再現性と比較可能性が制限されている。
• 正確なアンラーニング範囲の定義が、過剰または不十分なアンラーニングを回避する上で極めて重要であり、局所化に裏付けられた手法が、より高い効率性と有効性を示している。
• 敵対的評価により、多くのアンラーニング手法がプロンプトベースの回避攻撃に対して失敗することが判明し、耐性テストの必要性が浮き彫りになった。
• 事実誤認またはステレオタイプな訓練データをターゲットにすることで、アンラーニングは幻覚やバイアスを効果的に低減できる。
• アンラーニングとモデル編集には強い概念的・メソドロジカルな関連性があるが、定式化と目的において異なる。アンラーニングは影響の除去に焦点を当てているのに対し、モデル編集は能力の変更に焦点を当てる。
• アンラーニングを影響関数および敵対的訓練と統合することで、より信頼性があり、信頼できるLLMを実現するための有望な道筋が示された。