[論文レビュー] Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning

Naixin Zhai, Pengyang Shao+5 more|arXiv (Cornell University)|Jan 6, 2026

Topic Modeling被引用数 0

ひとこと要約

PALUはプレフィックス意識の局所的忘却を導入し、敏感なプレフィックスとトップ-K ロジットのみを標的化して局所エントロピーを最大化することで、計算量を削減しつつ強力な忘却と一般的モデル有用性の維持を実現します。

ABSTRACT

Machine unlearning aims to forget sensitive knowledge from Large Language Models (LLMs) while maintaining general utility. However, existing approaches typically treat all tokens in a response indiscriminately and enforce uncertainty over the entire vocabulary. This global treatment results in unnecessary utility degradation and extends optimization to content-agnostic regions. To address these limitations, we propose PALU (Prefix-Aware Localized Unlearning), a framework driven by a local entropy maximization objective across both temporal and vocabulary dimensions. PALU reveals that (i) suppressing the sensitive prefix alone is sufficient to sever the causal generation link, and (ii) flattening only the top-$k$ logits is adequate to maximize uncertainty in the critical subspace. These findings allow PALU to avoid redundant optimization across the full vocabulary and parameter space while minimizing collateral damage to general model performance. Extensive experiments validate that PALU achieves superior forgetting efficacy and utility preservation compared to state-of-the-art baselines.

研究の動機と目的

• 介入効率の視点からLLMの忘却を再検討する。
• 敏感なプレフィックスとトップ-K ロジットを標的化するデュアルローカリティ忘却フレームワークPALUを提案する。
• 局所的エントロピー最大化が、過剰な副作用をほとんど生じさせずに堅牢な忘却をもたらすことを示す。
• 標準的な忘却ベンチマークで最先端のベースラインと比較してPALUを評価する。
• Llamaシリーズモデル全般で効率性と有用性の向上を実証する。

提案手法

• 各敏感デコードプレフィックスを同定し、忘却を各敏感スパンの最初のNトークンに制限する。
• frozenな参照モデルによって識別されたトップ-K ロジットに対して語彙レベルの最適化を制限する。
• トップ-K ロジットと固定ターゲットcとの間のMSEを最小化して局所エントロピーを最大化し、トップ-K集合内で分布を平坦化する。
• 感受性が高いまたは開始トークンでないトークンに対してKLベースの保存項を組み合わせ、局所エントロピー目的を補完する。
• initiatingトークンにはL_localを適用し、非敏感トークンにはKLを適用する総合損失L_totalを提供し、スパースな勾配を得る。
• 計算複雑性を全語彙アプローチのO(TV)と比較してO(TK)と分析する。

実験結果

リサーチクエスチョン

• RQ1 選択的かつトークンレベルの標的化は、不必要な摂動を減らしつつ効果的な忘却を達成できるか。
• RQ2 局所エントロピー最大化は、 negated cross-entropyと比較して忘却を安定化させるか。
• RQ3 時間的（プレフィックス）および語彙的（トップ-K）範囲を制限することは、忘却の質と有用性にどのように影響するか。
• RQ4 局所エントロピー目的のflatteningターゲットcを選ぶ最適戦略は何か。
• RQ5 PALUは標準的な forgetting ベースラインと比較してどの程度優れているか。

主な発見

Method	Model	FQ (↑)	MU (↑)	Fluency (↑)	EM (↓)	F-TR (↑)	Ra-TR (↑)	R-TR (↑)	Rw-TR (↑)
Original	Llama-2-7B	-	5.87E-14	0.6276	0.8557	0.9988	0.5113	0.6120	0.4596
Retain	Llama-2-7B	-	1.0000	0.6266	0.8889	0.6670	0.6696	0.6052	0.4639
GA	Llama-2-7B	5.95E-11	0.5580	0.7423	0.9215	0.5304	0.5919	0.4608	0.5426
GD	Llama-2-7B	0.0396	0.3577	0.2334	0.6429	0.5839	0.5651	0.4497	0.5958
DPO	Llama-2-7B	0.5453	0.5503	0.6984	0.6155	0.6822	0.5138	0.4416	0.5051
NPO	Llama-2-7B	0.6284	0.5920	0.8115	0.6574	0.6623	0.6155	0.4613	0.5663
SimNPO	Llama-2-7B	0.4663	0.5921	0.9093	0.7343	0.6707	0.6437	0.4138	0.5776
PDU	Llama-2-7B	0.0021	0.5111	0.4834	0.6498	0.7600	0.6217	0.3490	0.6348
TPO	Llama-2-7B	0.6284	0.5862	0.7929	0.6621	0.6618	0.5907	0.4515	0.5967
PALU	Llama-2-7B	0.7126	0.6238	0.8122	0.5935	0.7030	0.6701	0.4762	0.6069
Original	Llama-3.1-8B	-	6.54E-13	0.6276	0.8522	0.9978	0.4788	0.4963	0.5298
Retain	Llama-3.1-8B	-	1.0000	0.6323	0.8857	0.6167	0.6216	0.5256	0.6127
GA	Llama-3.1-8B	8.05E-07	0.5838	0.8182	0.8281	0.5532	0.5279	0.4766	0.6196
GD	Llama-3.1-8B	0.2705	0.5536	0.8012	0.7153	0.6245	0.5333	0.4601	0.6069
DPO	Llama-3.1-8B	0.4663	0.5531	0.8761	0.6374	0.6320	0.5203	0.4794	0.5076
NPO	Llama-3.1-8B	0.5777	0.5110	0.5690	0.5162	0.6424	0.6226	0.4608	0.5801
SimNPO	Llama-3.1-8B	0.2393	0.2020	0.2469	0.6362	0.6514	0.7007	0.4726	0.5886
PDU	Llama-3.1-8B	0.4378	0.3889	0.4474	0.9103	0.า	0.​	0.​	0.​

• PALUはTOFUおよびMUSEベンチマークで、強力なベースラインと比較してモデル有用性を保ちながら忘却効果を上回る。
• 時間的（プレフィックス）と語彙的（トップ-K）の局所性により、計算量はO(TV)からO(TK)へ削減され、K<<Vとなる。
• 小さな開始トークン予算(N)で十分であり、最適なNは各敏感スパンあたり約3トークン。
• トップ-Kスケール（約5,000程度）で、語彙全体に近い効果を得つつコストを大幅に抑えられることが確認され、語彙のスパース性を検証。
• Global meanをflatteningターゲットcとすることで、消去の深さと多様体保存の安定したバランスを提供。
• PALUは収束が速く、プライバシー関連指標（例：MinK/MinK++）でベースラインより優れ、ユーティリティ損失を抑制する。