[论文解读] Designing and Interpreting Probes with Control Tasks

John Hewitt, Percy Liang|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling参考文献 32被引用 12

一句话总结

本文引入控制任务——将词类随机映射到输出——以评估探针选择性，测量高语言探针准确率是否反映语言结构的真实表征，还是仅体现探针记忆。研究发现，ELMo 上流行的 MLP 探针选择性较差，而更简单的线性探针表现出更高的选择性，表明探针复杂度（而不仅仅是表征质量）在塑造探针结果中起关键作用。

ABSTRACT

Probes, supervised models trained to predict properties (like parts-of-speech) from representations (like ELMo), have achieved high accuracy on a range of linguistic tasks. But does this mean that the representations encode linguistic structure or just that the probe has learned the linguistic task? In this paper, we propose control tasks, which associate word types with random outputs, to complement linguistic tasks. By construction, these tasks can only be learned by the probe itself. So a good probe, (one that reflects the representation), should be selective, achieving high linguistic task accuracy and low control task accuracy. The selectivity of a probe puts linguistic task accuracy in context with the probe's capacity to memorize from word types. We construct control tasks for English part-of-speech tagging and dependency edge prediction, and show that popular probes on ELMo representations are not selective. We also find that dropout, commonly used to control probe complexity, is ineffective for improving selectivity of MLPs, but that other forms of regularization are effective. Finally, we find that while probes on the first layer of ELMo yield slightly better part-of-speech tagging accuracy than the second, probes on the second layer are substantially more selective, which raises the question of which layer better represents parts-of-speech.

研究动机与目标

• 解决探针结果中的模糊性：高准确率是反映表征中的语言结构，还是探针记忆能力？
• 提出控制任务，通过将随机输出分配给词类（与上下文无关）来隔离探针能力。
• 引入选择性作为诊断指标，结合语言任务准确率与控制任务准确率。
• 评估探针架构、超参数和正则化对探针结果选择性和可解释性的影响。
• 提供一种超越随机基线的探针结果解释框架，提升对表征分析结果的信心。

提出的方法

• 定义控制任务，将每个词类映射到随机输出标签，与上下文无关，以模拟非语言记忆。
• 使用语言任务（如词性标注）和对应控制任务（具有相同的输入/输出空间）在 ELMo 表征上训练探针。
• 将选择性定义为语言任务准确率与控制任务准确率之差，选择性越高，表明与表征结构的对齐越好。
• 在多个超参数设置下使用线性、双线性和多层感知机（MLP）探针，比较其表达能力和记忆容量。
• 应用正则化技术（如 dropout、权重衰减和减少隐藏层维度）以评估其对选择性的影响。
• 在 ELMo 各层之间以及与随机表征基线之间比较探针结果，评估相对选择性和可解释性。

实验结果

研究问题

• RQ1 高探针准确率在多大程度上反映表征中的语言结构，而非探针的记忆能力？
• RQ2 探针架构（如线性与 MLP）在探针任务中如何影响选择性？
• RQ3 Dropout 是否能有效降低 MLP 探针的记忆能力，还是在提升选择性方面作用有限？
• RQ4 不同正则化方法如何影响 MLP 探针在 ELMo 表征上的选择性？
• RQ5 选择性为 ELMo 第 1 层与第 2 层之间的语言表达能力相对差异提供了哪些见解？

主要发现

• 在词性标注任务中，ELMo 上的 MLP 探针达到 97.3% 的语言准确率，但控制任务准确率也高达 92.8%，选择性仅为 4.5，表明其具有强烈的记忆能力。
• 线性探针达到 97.2% 的语言准确率和 71.2% 的控制任务准确率，选择性为 26.0，表明 MLP 的微小准确率提升可能源于更强的表达能力，而非更优的语言编码。
• Dropout 在 MLP 探针中并未一致提升选择性，表明其在此情境下无法有效控制记忆。
• 更小的隐藏层维度（如 10 个单元）、减少训练数据和权重衰减是提升 MLP 选择性的更有效正则化策略。
• 尽管语言准确率相似，ELMo 第 2 层的选择性显著高于第 1 层，引发关于哪一层更优编码词性信息的疑问。
• 尽管 ELMo2 在词性标注准确率上与随机表征基线相近，但其选择性高得多，表明其编码了比基线更多的语言结构。