[論文レビュー] Knowledge Unlearning for Mitigating Privacy Risks in Language Models

Joel Jang, Dongkeun Yoon+5 more|arXiv (Cornell University)|Oct 4, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、メモライズドシーケンスの勾配上昇を実行することで、再訓練を伴わずにプライバシーリスクを軽減するpost-hocなメソッドとして、知識の抹消（knowledge unlearning）を提案する。このアプローチにより、再訓練を伴わず、抽出可能性を著しく低下させることができる。性能劣化を最小限に抑えつつ、強力なプライバシー保護を実現しており、データ前処理や微分プライバシー手法よりもはるかに効率的かつ頑健である。

ABSTRACT

Pretrained Language Models (LMs) memorize a vast amount of knowledge during initial pretraining, including information that may violate the privacy of personal lives and identities. Previous work addressing privacy issues for language models has mostly focused on data preprocessing and differential privacy methods, both requiring re-training the underlying LM. We propose knowledge unlearning as an alternative method to reduce privacy risks for LMs post hoc. We show that simply performing gradient ascent on target token sequences is effective at forgetting them with little to no degradation of general language modeling performances for larger LMs; it sometimes even substantially improves the underlying LM with just a few iterations. We also find that sequential unlearning is better than trying to unlearn all the data at once and that unlearning is highly dependent on which kind of data (domain) is forgotten. By showing comparisons with a previous data preprocessing method and a decoding method known to mitigate privacy risks for LMs, we show that unlearning can give a stronger empirical privacy guarantee in scenarios where the data vulnerable to extraction attacks are known a priori while being much more efficient and robust. We release the code and dataset needed to replicate our results at https://github.com/joeljang/knowledge-unlearning.

研究の動機と目的

• 個人情報（PII）や個人識別情報などの機微なデータのメモリゼーションに起因する、大規模言語モデルにおけるプライバシー侵害リスクの増大に対処すること。
• 個人が「忘れられる権利（Right-To-Be-Forgotten, RTBF）」を行使した場合に、高コストな再訓練を回避するpost-hocな訓練ソリューションを提案すること。
• 一般言語モデルの能力に悪影響を及げず、特定のメモライズドシーケンスを効率的かつスケーラブルに抹消できる方法を開発すること。

提案手法

• 目的トークンシーケンスに対して勾配上昇を適用し、モデルからそのシーケンスのメモリゼーションを逆転させることで、効果的に抹消する。
• 攻撃の強度を模擬するために、プレフィックス長を変化させながら、ターゲットシーケンスが抽出されやすいかどうかを定量化するための新規抽出可能性度（Extraction Likelihood, EL）指標を用いる。
• 一度にすべてのデータを抹消するのではなく、一度に1つのデータチャンクを順次抹消することで、効果性を高める。
• GPT-Neoモデル（125M, 1.3B, 2.7B）を用い、9つのNLPベンチマークおよび4つの対話タスクで性能安定性を測定する。
• データ重複除去と微分プライバシー復号とを実証的に比較し、本手法がより高い効率性と頑健性を示すことを確認する。
• EL値に基づいて忘れらえたと判断するための忘れらるしきい値を定義する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの抹消法は、一般性能を著しく劣化させることなく、大規模言語モデルにおける機微なシーケンスのメモリゼーションを効果的に低減できるか？
• RQ2 一度にすべてのデータを抹消するのと比較して、順次抹消は有効性と効率性においてどのように異なるか？
• RQ3 抹消対象のデータのドメインが、知識抹消の難易度と成功度にどの程度影響を及えるか？
• RQ4 データ重複除去や微分プライバシー復号といった既存のプライバシー緩和手法と比較して、知識抹消はプライバシー保証と計算コストの面でどのように異なるか？
• RQ5 どのような指標としきい値が、実証的に「メモライズドシーケンスが成功裏に忘れられた」と定義できるか？

主な発見

• 知識抹消後、抽出可能性度（EL）が忘れらるしきい値（例：GPT-Neo 1.3BにおけるEL₁₀で5.68%）を下回った。これは、効果的な忘れられ方を示している。
• 一般言語モデル性能への影響はほとんどなく、9つのベンチマークにおける平均精度は安定またはわずかに向上した。
• 順次抹消は一括抹消を上回る性能を示し、シーケンスの類似性に起因して、後続のチャンクは1〜2エポックで抹消された。
• 9つの分類タスクにおける性能は高い水準を維持した（例：1.3BモデルにおけるEL₅で平均49.93%精度）。これは、抹消に対して高い頑健性を示している。
• データ重複除去や微分プライバシー復号と比較して、本手法はより強い実証的プライバシー保証を提供したが、はるかに高い効率性を示した。
• 抹消成功度はデータドメインによって変動し、メモリゼーションと抹消が、ターゲットデータの意味的・構造的特性に強く依存することが示された。