[论文解读] Factual Probing Is [MASK]: Learning vs. Learning to Recall

Zexuan Zhong, Dan Friedman+1 more|arXiv (Cornell University)|Apr 12, 2021

Topic Modeling参考文献 28被引用 22

一句话总结

本文提出 OptiPrompt，一种通过在嵌入空间中搜索而非离散标记来改进预训练语言模型事实探针的连续优化方法。该方法在 LAMA 基准测试中实现了 6.4% 的准确率提升，并揭示了提示搜索方法会利用训练数据中的统计规律性，挑战了探针结果仅反映模型内部知识的假设。

ABSTRACT

Petroni et al. (2019) demonstrated that it is possible to retrieve world facts from a pre-trained language model by expressing them as cloze-style prompts and interpret the model's prediction accuracy as a lower bound on the amount of factual information it encodes. Subsequent work has attempted to tighten the estimate by searching for better prompts, using a disjoint set of facts as training data. In this work, we make two complementary contributions to better understand these factual probing techniques. First, we propose OptiPrompt, a novel and efficient method which directly optimizes in continuous embedding space. We find this simple method is able to predict an additional 6.4% of facts in the LAMA benchmark. Second, we raise a more important question: Can we really interpret these probing results as a lower bound? Is it possible that these prompt-search methods learn from the training data too? We find, somewhat surprisingly, that the training data used by these methods contains certain regularities of the underlying fact distribution, and all the existing prompt methods, including ours, are able to exploit them for better fact prediction. We conduct a set of control experiments to disentangle "learning" from "learning to recall", providing a more detailed picture of what different prompts can reveal about pre-trained language models.

研究动机与目标

• 开发一种更有效的连续嵌入空间提示优化方法，用于事实探针任务。
• 探究类似 OptiPrompt 的提示搜索方法是否从模型内部知识中学习，或从训练数据中的统计规律性中学习。
• 在事实探针中区分‘学习’（来自模型权重）与‘记忆回忆’（来自训练数据模式）的机制。
• 提供对探针结果真实揭示预训练语言模型本质的更细致理解。
• 通过引入隔离数据驱动与模型驱动泛化能力的控制实验，提升事实探针诊断的严谨性。

提出的方法

• OptiPrompt 直接优化连续输入嵌入，而非离散标记，从而实现在嵌入空间中的基于梯度的搜索。
• 该方法从人工设计的提示开始初始化，以提升收敛速度和性能表现。
• 它使用标准反向传播算法更新输入嵌入，使模型对 [MASK] 标记的预测在训练集上最大化准确率。
• 该方法计算效率高，且无需微调模型参数。
• 控制实验将模型性能与随机基线及仅在训练数据上训练的简单分类器进行比较。
• 研究在标准 LAMA 和更具挑战性的 LAMA-UHN 分割上进行评估，以检验对词汇启发式方法的鲁棒性。

实验结果

研究问题

• RQ1 与离散提示搜索相比，嵌入空间中的连续优化能否显著提升事实探针的准确率？
• RQ2 类似 OptiPrompt 的提示搜索方法在多大程度上依赖于训练数据中的统计规律性，而非模型内部知识？
• RQ3 探针准确率的提升是源于更好的模型利用，还是对数据分布模式的利用？
• RQ4 仅在训练数据上训练的分类器能否在不访问语言模型的情况下预测事实？
• RQ5 不同提示方法在‘简单’与‘困难’样本上的表现如何？这揭示了其泛化行为的哪些特征？

主要发现

• OptiPrompt 将 LAMA 基准测试中的事实探针准确率从 42.2% 提升至 48.6%，相较于先前的离散方法提升了 6.4% 的相对准确率。
• 在 LAMA-UHN 分割上，OptiPrompt 将准确率从 31.3% 提升至 38.4%，表明其对词汇启发式方法具有鲁棒性。
• 仅在训练数据上训练的简单分类器在测试集上达到了非平凡的准确率（最高达 20%），表明数据分布中存在可利用的规律性。
• 所有提示搜索方法，包括 OptiPrompt，均受益于这些数据规律性，表明准确率提升部分源于数据记忆或模式利用。
• OptiPrompt 在‘简单’和‘困难’测试样本上均优于先前方法，表明其在数据驱动泛化与模型驱动事实回忆两方面均有效。
• 本研究揭示，探针结果不能被解释为模型内部知识的严格下限，因为其受到数据分布模式的干扰。