[论文解读] Can Small and Synthetic Benchmarks Drive Modeling Innovation? A Retrospective Study of Question Answering Modeling Approaches.

Nelson F. Liu, Tong Lee+2 more|arXiv (Cornell University)|Feb 1, 2021

Topic Modeling参考文献 89被引用 16

一句话总结

本研究调查了小型合成基准是否能通过评估其与 SQuAD 基准在 20 种问答建模方法上的一致性，从而推动建模创新。研究发现，尽管缺乏自然语言，精心设计的合成基准仍能再现 SQuAD 对模型的排名，表明规模和自然性并非推动建模创新所必需的要素。

ABSTRACT

Datasets are not only resources for training accurate, deployable systems, but are also benchmarks for developing new modeling approaches. While large, natural datasets are necessary for training accurate systems, are they necessary for driving modeling innovation? For example, while the popular SQuAD question answering benchmark has driven the development of new modeling approaches, could synthetic or smaller benchmarks have led to similar innovations? This counterfactual question is impossible to answer, but we can study a necessary condition: the ability for a benchmark to recapitulate findings made on SQuAD. We conduct a retrospective study of 20 SQuAD modeling approaches, investigating how well 32 existing and synthesized benchmarks concur with SQuAD -- i.e., do they rank the approaches similarly? We carefully construct small, targeted synthetic benchmarks that do not resemble natural language, yet have high concurrence with SQuAD, demonstrating that naturalness and size are not necessary for reflecting historical modeling improvements on SQuAD. Our results raise the intriguing possibility that small and carefully designed synthetic benchmarks may be useful for driving the development of new modeling approaches.

研究动机与目标

• 评估小型或合成基准是否能推动问答建模方法的创新。
• 研究缺乏自然语言的合成基准是否仍能反映在 SQuAD 上观察到的历史建模改进。
• 确定基准排名与 SQuAD 结果之间的一致性是否足以作为建模创新的代理指标。
• 评估合成基准在开发新型建模技术时，能否作为大型自然数据集的可行替代方案。

提出的方法

• 对 20 种基于 SQuAD 的问答建模方法进行回顾性分析，以评估其在 32 种多样化基准上的表现。
• 构建 32 个语言现实性极低的合成基准，旨在将结构和推理模式与自然语言分离。
• 使用等级相关性（如 Kendall’s tau）来衡量基准排名与 SQuAD 中模型性能排序之间的一致性。
• 系统评估每个基准在多大程度上保持了在 SQuAD 上观察到的模型相对性能排序。
• 设计具有受控复杂度和非自然语言形式的合成基准，以检验自然语言和规模的必要性。
• 识别出在不包含自然语言特征的情况下仍能与 SQuAD 实现高度一致性的合成基准。

实验结果

研究问题

• RQ1 完全缺乏自然语言相似性的合成基准能否实现与 SQuAD 模型排名的高度一致性？
• RQ2 基准的规模和自然性在多大程度上与它们反映 SQuAD 上历史建模改进的能力相关？
• RQ3 是否存在一组最小的结构或推理模式，可使基准保持问答模型的相对性能排序？
• RQ4 小型、非自然的基准能否作为大型自然基准的有效代理，以推动建模创新？

主要发现

• 多个合成基准在缺乏自然语言的情况下，仍实现了与 SQuAD 模型排名的高度一致（例如，Kendall’s tau > 0.8）。
• 小型合成基准能够再现 20 种 SQuAD 建模方法的相对性能排序，表明其可反映历史建模进展。
• 研究发现基准规模或自然性与与 SQuAD 一致性之间无显著相关性，挑战了其必要性的假设。
• 高度针对性的合成基准——围绕特定推理模式设计——即使与自然语言毫无相似之处，也表现出与 SQuAD 结果的强一致性。
• 结果表明，合成基准可作为推动建模创新的有效工具，且与数据集规模或语言真实度无关。
• 仅使用最小化、非自然的数据集即可实现模型排名顺序的保持，表明此类基准可能足以推动新型模型开发。