[论文解读] Misleading Failures of Partial-input Baselines

Shi Feng, Eric Wallace+1 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 24被引用 6

一句话总结

本文表明，常用于检测 NLP 数据集中数据集伪影的局部输入基线模型，可能无法识别仅存在于完整输入中的微不足道且可利用的模式。作者展示了一种‘假设+一个词’的模型能够解决此前被认为对这类捷径免疫的 15% 的 '困难' SNLI 例子，揭示了数据集验证中的一个关键盲点。

ABSTRACT

Recent work establishes dataset difficulty and removes annotation artifacts via partial-input baselines (e.g., hypothesis-only models for SNLI or question-only models for VQA). When a partial-input baseline gets high accuracy, a dataset is cheatable. However, the converse is not necessarily true: the failure of a partial-input baseline does not mean a dataset is free of artifacts. To illustrate this, we first design artificial datasets which contain trivial patterns in the full input that are undetectable by any partial-input model. Next, we identify such artifacts in the SNLI dataset - a hypothesis-only model augmented with trivial patterns in the premise can solve 15% of the examples that are previously considered "hard". Our work provides a caveat for the use of partial-input baselines for dataset verification and creation.

研究动机与目标

• 挑战‘局部输入基线失败即表示数据集无伪影’的假设。
• 证明仅存在于完整输入中的微不足道且可利用的模式可能被局部输入模型检测不到。
• 提供实证证据表明真实世界的数据集（如 SNLI）中存在此类伪影，从而削弱局部输入验证的可靠性。
• 提醒自然语言处理社区避免过度依赖局部输入基线作为数据集质量与泛化能力的决定性检验。
• 倡导采用更全面的验证方法，将完整输入模式纳入数据集分析与构建过程。

提出的方法

• 构建具有人工生成的、仅存在于完整输入中的模式的合成数据集，这些模式无法被局部输入模型检测到。
• 设计一种‘假设+一个词’的模型，以检验前提中是否存在微不足道的模式，从而解决那些假设模型失败的样本。
• 在表征空间中使用 k-最近邻方法，解释并识别完整输入模型所学习到的具体伪影。
• 将局部输入基线应用于真实数据集（如 SNLI），比较模型表现，并识别完整输入模式如何促成成功的情况。
• 分析局部输入基线的失败模式，揭示其在检测数据集伪影方面的局限性。
• 使用对抗性评估与解释技术，验证模型的鲁棒性，并暴露模型的脆弱性。

实验结果

研究问题

• RQ1 局部输入基线是否可能无法检测到仅存在于完整输入中的伪影？
• RQ2 仅存在于完整输入中的模式在多大程度上使模型能够解决那些被局部输入基线视为'困难'的样本？
• RQ3 是否存在真实世界中的 NLP 数据集，其中存在此类仅存在于完整输入中的伪影，并且能逃避标准局部输入验证的检测？
• RQ4 像 k-最近邻这样的解释方法如何帮助识别模型在完整输入设置中所利用的具体模式？
• RQ5 这些发现对 NLP 中的数据集构建与模型评估有何影响？

主要发现

• 局部输入基线可能无法检测到仅存在于完整输入中的微不足道且可利用的模式，从而导致对数据集难度的误导性结论。
• 在 SNLI 数据集中，'假设+一个词'的模型能够解决 15% 的样本，这些样本此前因前提中的完整输入模式而被认为'困难'。
• 通过构建人工数据集，证明了局部输入模型无法检测到某些完整输入伪影，从而证实了此类失败在理论上是可能的。
• 通过 k-最近邻的解释方法发现，完整输入模型学习到了前提中简单但虚假的相关性，而这些相关性无法被仅使用假设的模型检测到。
• 局部输入基线的失败并不意味着伪影不存在——仅表示这些伪影无法通过受限的输入模态被利用。
• 在数据集构建中将局部输入基线用作对抗性过滤器，可能导致生成的数据集仅对基线模型具有迷惑性，而非真正对所有捷径都具有鲁棒性。