[论文解读] Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning

Naixin Zhai, Pengyang Shao+5 more|arXiv (Cornell University)|Jan 6, 2026

Topic Modeling被引用 0

一句话总结

PALU 通过针对敏感前缀和前K logits 来最大化局部熵，从而实现强 forgetting 的同时，在减少计算的前提下尽量保持通用模型能力。

ABSTRACT

Machine unlearning aims to forget sensitive knowledge from Large Language Models (LLMs) while maintaining general utility. However, existing approaches typically treat all tokens in a response indiscriminately and enforce uncertainty over the entire vocabulary. This global treatment results in unnecessary utility degradation and extends optimization to content-agnostic regions. To address these limitations, we propose PALU (Prefix-Aware Localized Unlearning), a framework driven by a local entropy maximization objective across both temporal and vocabulary dimensions. PALU reveals that (i) suppressing the sensitive prefix alone is sufficient to sever the causal generation link, and (ii) flattening only the top-$k$ logits is adequate to maximize uncertainty in the critical subspace. These findings allow PALU to avoid redundant optimization across the full vocabulary and parameter space while minimizing collateral damage to general model performance. Extensive experiments validate that PALU achieves superior forgetting efficacy and utility preservation compared to state-of-the-art baselines.

研究动机与目标

• 从干预效率的视角重新审视 LLM 无学习。
• 提出 PALU，一种针对敏感前缀与前-K logits 的双局部无学习框架。
• 证明局部熵最大化在最小副作用的前提下实现稳健遗忘。
• 在标准遗忘基线上对比现有方法评估 PALU。
• 在 Llama 模型上展示更高的效率与效用保留。

提出的方法

• 识别敏感解码前缀，并将无学习限制在每个敏感区段的前 N 个标记。
• 将词汇层面的优化限制在冻结参考模型所识别的前-K logits。
• 通过最小化前-K logits 与固定目标 c 之间的均方误差来最大化局部熵，鼓励前-K 集内的分布更平坦。
• 将局部熵目标与对非敏感或非起始标记的 KL 保留项结合起来。
• 给出总损失 L_total，对起始标记应用 L_local，对非敏感标记应用 KL，从而获得稀疏梯度。
• 并分析计算复杂度为 O(TK) 与对全词汇方法的 O(TV) 的对比。

实验结果

研究问题

• RQ1 选择性、逐标记定位能否在实现有效遗忘的同时降低不必要的扰动？
• RQ2 在前-K logits 的局部熵最大化是否比否定交叉熵更稳定无学习？
• RQ3 限制时间（前缀）与词汇（前-K）的范围对遗忘质量和效用有何影响？
• RQ4 在局部熵目标中选择 flattening 目标 c 的最优策略是什么？
• RQ5 与最先进基线相比，PALU 在标准遗忘基准上的表现如何？

主要发现

Method	Model	FQ (↑)	MU (↑)	Fluency (↑)	EM (↓)	F-TR (↑)	Ra-TR (↑)	R-TR (↑)	Rw-TR (↑)
Original	Llama-2-7B	-	5.87E-14	0.6276	0.8557	0.9988	0.5113	0.6120	0.4596
Retain	Llama-2-7B	-	1.0000	0.6266	0.8889	0.6670	0.6696	0.6052	0.4639
GA	Llama-2-7B	5.95E-11	0.5580	0.7423	0.9215	0.5304	0.5919	0.4608	0.5426
GD	Llama-2-7B	0.0396	0.3577	0.2334	0.6429	0.5839	0.5651	0.4497	0.5958
DPO	Llama-2-7B	0.5453	0.5503	0.6984	0.6155	0.6822	0.5138	0.4416	0.5051
NPO	Llama-2-7B	0.6284	0.5920	0.8115	0.6574	0.6623	0.6155	0.4613	0.5663
SimNPO	Llama-2-7B	0.4663	0.5921	0.9093	0.7343	0.6707	0.6437	0.4138	0.5776
PDU	Llama-2-7B	0.0021	0.5111	0.4834	0.6498	0.7600	0.6217	0.3490	0.6348
TPO	Llama-2-7B	0.6284	0.5862	0.7929	0.6621	0.6618	0.5907	0.4515	0.5967
PALU	Llama-2-7B	0.7126	0.6238	0.8122	0.5935	0.7030	0.6701	0.4762	0.6069
Original	Llama-3.1-8B	-	6.54E-13	0.6276	0.8522	0.9978	0.4788	0.4963	0.5298
Retain	Llama-3.1-8B	-	1.0000	0.6323	0.8857	0.6167	0.6216	0.5256	0.6127
GA	Llama-3.1-8B	8.05E-07	0.5838	0.8182	0.8281	0.5532	0.5279	0.4766	0.6196
GD	Llama-3.1-8B	0.2705	0.5536	0.8012	0.7153	0.6245	0.5333	0.4601	0.6069
DPO	Llama-3.1-8B	0.4663	0.5531	0.8761	0.6374	0.6320	0.5203	0.4794	0.5076
NPO	Llama-3.1-8B	0.5777	0.5110	0.5690	0.5162	0.6424	0.6226	0.4608	0.5801
SimNPO	Llama-3.1-8B	0.2393	0.2020	0.2469	0.6362	0.6514	0.7007	0.4726	0.5886
PDU	Llama-3.1-8B	0.4378	0.3889	0.4474	0.9103	0.า	0.​	0.Â	0.Â

• PALU 在 TOFU 与 MUSE 基准上相较强基线实现更优的遗忘效果，同时保留模型效用。
• 时间上的局部性（前缀）和词汇上的局部性（前-K）把计算从 O(TV) 降低到 O(TK)，其中 K << V。
• 较小的起始标记预算（N）即可；最优 N 约为每个敏感区段的 3 个标记。
• 较大前-K 规模（约 5,000）在成本显著下降的同时仍实现近全词汇的有效性，验证了词汇稀疏性。
• 全局均值作为 flattening 目标 c 为擦除深度与流形保持之间提供了稳定的平衡。
• PALU 展现更快的收敛与更好的隐私相关指标（如 MinK/MinK++），相较基线具有更小的效用损失。