[論文レビュー] Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges

Nianwen Si, Hao Zhang+4 more|arXiv (Cornell University)|Nov 27, 2023

Topic Modeling被引用数 4

ひとこと要約

本調査は、大規模言語モデル（LLM）における知識の抹消について紹介し、全モデルの再訓練なしに有害または誤った知識を効率的に削除するためのフレームワークを提案する。方法はパラメータ最適化、パラメータマージ、イン・コンテキスト学習の3つに分類され、特定の知識の抹消が関連しない知識を保持する一方で、悪意あるまたは誤った出力のリスクを軽減できることを示している。

ABSTRACT

In recent years, large language models (LLMs) have spurred a new research paradigm in natural language processing. Despite their excellent capability in knowledge-based question answering and reasoning, their potential to retain faulty or even harmful knowledge poses risks of malicious application. The challenge of mitigating this issue and transforming these models into purer assistants is crucial for their widespread applicability. Unfortunately, Retraining LLMs repeatedly to eliminate undesirable knowledge is impractical due to their immense parameters. Knowledge unlearning, derived from analogous studies on machine unlearning, presents a promising avenue to address this concern and is notably advantageous in the context of LLMs. It allows for the removal of harmful knowledge in an efficient manner, without affecting unrelated knowledge in the model. To this end, we provide a survey of knowledge unlearning in the era of LLMs. Firstly, we formally define the knowledge unlearning problem and distinguish it from related works. Subsequently, we categorize existing knowledge unlearning methods into three classes: those based on parameter optimization, parameter merging, and in-context learning, and introduce details of these unlearning methods. We further present evaluation datasets used in existing methods, and finally conclude this survey by presenting the ongoing challenges and future directions.

研究の動機と目的

• LLMが有害または誤った知識を保持することで、悪意あるまたはバイアスのかかった出力が生じるリスクに対処すること。
• 大規模LLMにおける知識削除のための完全再訓練の非現実性を克服すること。
• LLMの文脈において、既存の知識抹消手法を体系的に分類・分析すること。
• 未学習評価ベンチマークを提供し、今後の研究における未解決の課題を特定すること。

提案手法

• 知識抹消問題を形式的に定義し、データ抽出やモデル蒸留といった関連概念と区別すること。
• 抹消手法を3つのカテゴリに分類する：パラメータ最適化（例：抹消信号を用いたファインチューニング）、パラメータマージ（例：モデル重みと抹消更新を統合）、イン・コンテキスト学習（例：重みの変更なしにプロンプトベースで抹消）。
• 知識の削除メカニズムとモデルパラメータへの影響に基づいて、抹消技術の分類法を提唱すること。
• 異なる手法間での抹消性能をベンチマーク化するための評価データセットを導入すること。
• 抹消効果、関連しないタスクにおけるモデルの精度、計算効率の間のトレードオフを分析すること。
• 抹消対象データとは関係のない事実的知識を保持することが、抹消後のモデルの有用性を保証するために重要であることを強調すること。

実験結果

リサーチクエスチョン

• RQ1 LLMの文脈において、知識抹消とは何か。また、モデル蒸留やデータ抽出といった関連タスクとはどのように異なるか。
• RQ2 パラメータ最適化、パラメータマージ、イン・コンテキスト学習の各手法は、LLMから特定の有害または誤った知識をどれほど効果的に抹消できるか。
• RQ3 関連しない、ターゲットとされていない知識の性能が低下することなく、どの程度抹消を達成できるか。
• RQ4 LLMにおける抹消効果を評価するために現在使用されている評価ベンチマークとメトリクスは何か。
• RQ5 多様なLLMアーキテクチャーやデータセットにわたる知識抹消手法のスケーリングと一般化を実現する上で、主な課題と未解決の問題は何か。

主な発見

• 全再訓練を回避する標的的な手法により、LLMにおける知識抹消は実現可能であり、計算コストを顕著に削減できる。
• パラメータ最適化手法は優れた抹消性能を示すが、正則化が不十分な場合には、抹消対象の例に過剰適合するリスクがある。
• パラメータマージ手法は、ファインチューニングに基づくアプローチに比べ、より多くの一般知識を保持し、より優れたロバスト性を示す。
• イン・コンテキスト学習は、パラメータフリーの抹消ソリューションを提供するが、その有効性は特定のプロンプト設計に依存し、多様な知識タイプに一般化されない可能性がある。
• 知識抹消のための評価ベンチマークはまだ発展途上であり、データセットやメトリクスの間で標準化が不十分である。
• 特に高パラメータ数のモデルにおいては、抹消効果と関連しない事実的知識の保持のバランスを取ることが、重要な課題のまま残っている。