[论文解读] Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge

Yu-Ping Ruan, Xiaodan Zhu+4 more|arXiv (Cornell University)|Apr 22, 2019

Topic Modeling参考文献 25被引用 18

一句话总结

该论文通过联合利用基于 BERT 的无监督预训练、在 Raham-Ng 数据集上的微调，以及将句法依存结构整合到模型中，在 Winograd Schema Challenge 上实现了 71.1% 的新 SOTA 准确率。该方法表明，依存建模在更难的非关联性案例中能持续提升性能，而微调在更简单的关联性问题上尤其有效。

ABSTRACT

Winograd Schema Challenge (WSC) was proposed as an AI-hard problem in testing computers' intelligence on common sense representation and reasoning. This paper presents the new state-of-theart on WSC, achieving an accuracy of 71.1%. We demonstrate that the leading performance benefits from jointly modelling sentence structures, utilizing knowledge learned from cutting-edge pretraining models, and performing fine-tuning. We conduct detailed analyses, showing that fine-tuning is critical for achieving the performance, but it helps more on the simpler associative problems. Modelling sentence dependency structures, however, consistently helps on the harder non-associative subset of WSC. Analysis also shows that larger fine-tuning datasets yield better performances, suggesting the potential benefit of future work on annotating more Winograd schema sentences.

研究动机与目标

• 提升在 Winograd Schema Challenge（WSC）上的表现，该基准是常识推理的 AI 难题。
• 探究最先进的预训练模型（如 BERT）在无需大量基于规则或知识工程特征的情况下解决 WSC 的有效性。
• 分析微调和句法结构建模对 WSC 不同子集（关联性 vs. 非关联性）的影响。
• 评估微调数据集大小对模型性能的影响，并为未来数据收集工作提供建议。

提出的方法

• 在 Raham-Ng 数据集（人类标注的 Winograd schema 示例集合）上微调 BERT-large 模型。
• 通过两种方法将依存解析信息整合到 BERT 中：内部建模（在特定层中屏蔽注意力头）和外部建模（使用 TransformerRNN 编码依存树）。
• 将 WSC 重新表述为下一句预测任务，以利用 BERT 的预训练目标。
• 在多个划分上评估性能：完整 WSC、关联性/非关联性子集，以及未切换/切换/一致变体。
• 系统性地改变微调数据集的大小（从 0% 到 100%），以评估数据效率和可扩展性。
• 在 BERT 层上使用屏蔽策略，以探索哪些层从依存结构整合中获益最多。

实验结果

研究问题

• RQ1 在小规模人工标注数据集上进行微调在多大程度上提升了 BERT 在 Winograd Schema Challenge 上的表现？
• RQ2 在 WSC 中更具挑战性的非关联性子集上，整合句法依存结构对性能有何影响？
• RQ3 微调带来的性能提升在关联性与非关联性 WSC 实例之间是否存在差异？
• RQ4 微调数据集的大小与最终模型准确率之间有何相关性？
• RQ5 在 BERT 中，内部建模与外部建模（依存结构整合方法）哪种方法表现更优？

主要发现

• 所提出的模型在完整 Winograd Schema Challenge 上实现了 71.1% 的新 SOTA 准确率。
• 在 Raham-Ng 数据集上进行微调对性能至关重要，准确率从 0% 微调时的 52.7% 提升至 100% 微调时的 71.1%。
• 微调在更简单的关联性子集上带来了更大的性能提升（准确率从 48.6% 上升至 81.1%），相比非关联性子集（从 53.4% 上升至 69.5%）。
• 通过屏蔽 BERT-large 的最后五层来建模依存结构，取得了最佳性能（71.1%），表明在更难的非关联性案例中实现了持续改进。
• 外部建模方法（如 TransformerRNN）未能超越最佳内部建模设置，尤其在 BERT-large 上表现更差。
• 更大的微调数据集带来了更好的性能，准确率从 60% 时的 66.7% 单调上升至 100% 时的 71.1%，表明更多人工标注数据有望进一步提升结果。