[論文レビュー] TOFU: A Task of Fictitious Unlearning for LLMs

Pratyush Maini, Zhili Feng+3 more|arXiv (Cornell University)|Jan 11, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、特定のデータを効果的に忘れられるかどうかをテストするために、合成された著者プロフィールを用いた大規模言語モデル（LLM）におけるアンラーニングの評価のためのベンチマークであるTOFUを紹介する。4つのベースラインアンラーニング手法をテストしたが、結果として、現在の手法は有効なアンラーニングを達成できていないことが示され、プライバシー保護のためのLLMチューニングにおける重要なギャップが浮き彫りになった。

ABSTRACT

Large language models trained on massive corpora of data from the web can memorize and reproduce sensitive or private data raising both legal and ethical concerns. Unlearning, or tuning models to forget information present in their training data, provides us with a way to protect private data after training. Although several methods exist for such unlearning, it is unclear to what extent they result in models equivalent to those where the data to be forgotten was never learned in the first place. To address this challenge, we present TOFU, a Task of Fictitious Unlearning, as a benchmark aimed at helping deepen our understanding of unlearning. We offer a dataset of 200 diverse synthetic author profiles, each consisting of 20 question-answer pairs, and a subset of these profiles called the forget set that serves as the target for unlearning. We compile a suite of metrics that work together to provide a holistic picture of unlearning efficacy. Finally, we provide a set of baseline results from existing unlearning algorithms. Importantly, none of the baselines we consider show effective unlearning motivating continued efforts to develop approaches for unlearning that effectively tune models so that they truly behave as if they were never trained on the forget data at all.

研究の動機と目的

• 生成モデルを対象とした、LLMにおけるアンラーニングの標準化された評価の欠如に対処する。
• 忘れの特定のデータに与える影響を分離できる、明確で再現可能なベンチマークを構築する。
• 忘れの質とモデルの有用性の両方を測る包括的な評価フレームワークを開発する。
• 現実的な計算制約下での現在のアンラーニングアルゴリズムの有効性を評価する。
• 現在の手法が意味的なアンラーニングを達成できないことを示すことで、今後の研究を促進する。

提案手法

• LLMのファインチューニング用の訓練データとして、200体の架空の著者プロフィールを含み、それぞれに20個の質問-回答ペアを設定するデータセットの作成。
• 忘れの深刻度を変化させるために、2体、10体、20体のプロフィールを含む「忘れセット」を定義する。
• 忘れセットにおける正解と不正解の回答の確率比に基づく忘れの質メトリクスを設計する。
• 未学習化済みモデルとゴールスタンダードの保持モデルの間で、回答確率の分布を比較するために、コルモゴロフ＝スミルノフ（KS）検定を適用する。
• 複数の評価データセットを用い、関連性の勾配が異なる状況でモデルの有用性を集約して測定する。
• 実世界の実行可能性を反映させるために、アンラーニングアルゴリズムの計算量を「忘れのサンプル数」に比例するように制限する。

実験結果

リサーチクエスチョン

• RQ1 現在のアンラーニング手法は、ファインチューニング済みLLMから特定のエンティティに関する情報を効果的に消去できるか？
• RQ2 アンラーニング手法は、忘れの対象外のデータに対して、どの程度モデルの有用性を保持できるか？
• RQ3 現在のアンラーニングメトリクスは、近似的なアンラーニング保証とどの程度相関しているか？
• RQ4 TOFUのような統合的ベンチマークは、現在のアンラーニングアプローチにおける構造的欠陥を明らかにできるか？
• RQ5 全体のモデルパフォーマンスを劣化させることなく、有効なアンラーニングを達成することは可能か？

主な発見

• テストされた4つのベースラインアンラーニング手法のいずれに対しても、忘れの質とモデルの有用性の両方のメトリクスで有効なアンラーニングが達成されていない。
• 多くのモデルが高水準の忘れの質（KS検定のp値が低い）を示したが、モデルの有用性は低く、意味のない出力やランダムな出力を生成していた。
• 結果から、現在のアンラーニング手法は、(ε,δ)-アンラーニングを達成できていないことが明らかになった。これは、紙の上では忘れているように見えるが、実際にはそうでない場合があることを示している。
• ベンチマークにより、学習と忘れのプロセスの間のエンタングルメントが原因で、アンラーニングが根本的に難しいことが明らかになった。
• RLHF や DPO などの既存のアライメント技術が、望ましくない行動や記憶された事実を完全に除去できないことから、モデル制御における根本的な問題が浮き彫りになった。
• 本研究は、現在のアンラーニング手法がプライバシー保護のための弱い試みに過ぎず、大幅な改善の余地があることを示している。