[论文解读] Is getting the right answer just about choosing the right words? The role of syntactically-informed features in short answer scoring

Derrick Higgins, C. Brew+11 more|arXiv (Cornell University)|Mar 4, 2014

Natural Language Processing Techniques参考文献 21被引用 24

一句话总结

本文研究了句法信息特征（如句法依存关系和语义关系）对自动短答案评分的贡献，表明即使在存在错误和拼写错误的情况下，这些高层次语言特征也能在纯词汇特征的基础上进一步提升评分准确率。基于ASAP共享任务的大规模数据集，研究发现句法特征，尤其是依存句法分析，能提供增量的预测价值（使加权 Cohen's kappa 提升 0.009），通过减少对表面词汇选择的依赖，从而提高模型的准确率和有效性。

ABSTRACT

Developments in the educational landscape have spurred greater interest in the problem of automatically scoring short answer questions. A recent shared task on this topic revealed a fundamental divide in the modeling approaches that have been applied to this problem, with the best-performing systems split between those that employ a knowledge engineering approach and those that almost solely leverage lexical information (as opposed to higher-level syntactic information) in assigning a score to a given response. This paper aims to introduce the NLP community to the largest corpus currently available for short-answer scoring, provide an overview of methods used in the shared task using this data, and explore the extent to which more syntactically-informed features can contribute to the short answer scoring task in a way that avoids the question-specific manual effort of the knowledge engineering approach.

研究动机与目标

• 重新表述纯粹基于词汇特征的局限性，这些特征在近期共享任务中表现优异的系统中占据主导地位。
• 探究句法信息特征（如句法依存关系和语义关系）是否能提升评分的准确率和有效性。
• 向自然语言处理社区提供目前公开可用的最大规模短答案评分语料库，并强调ASAP共享任务作为关键基准的重要性。
• 证明深层语言特征即使在实证收益微小的情况下，也能对评分产生实质性贡献，从而支持更有效、更稳健的自动化评分系统。
• 通过减少对策略性词汇选择的依赖，降低负面反馈效应的风险，使评分更关注内容与结构。

提出的方法

• 本研究使用了一组多样化的语言特征，包括词汇、句法和语义特征，从ASAP短答案评分数据集中提取。
• 句法特征源自依存句法分析，捕捉如主-谓-宾结构和语法角色等关系。
• 采用堆叠集成模型，通过元学习回归器整合不同特征集的预测结果，融合多个基模型的输出。
• 模型在ASAP公开排行榜数据上进行训练和评估，未针对排行榜进行调优，确保对问题特异性优化具有泛化能力。
• 通过比较不同特征子集模型的性能，评估特征重要性，从而隔离句法信息的独立贡献。
• 最终的集成模型整合了所有类型的特征，包括句法、词汇和结构特征，以最大化预测能力与有效性。

实验结果

研究问题

• RQ1 句法信息特征是否能在纯词汇特征之外进一步提升自动短答案评分的准确率？
• RQ2 在存在错误和非正式语言的情况下，句法依存关系和更高阶语言结构在多大程度上提升了评分准确率？
• RQ3 整合句法和语义特征是否能通过减少对表面词汇选择的依赖，提升自动化评分系统的有效性？
• RQ4 使用多样化特征的通用模型与ASAP共享任务中针对特定问题优化的模型相比，性能如何？
• RQ5 在统一评分框架中，句法特征与其他语言特征结合时，其增量价值是多少？

主要发现

• 句法信息特征，尤其是依存句法分析，对评分准确率有增量贡献，使总体加权 Cohen's kappa 提升约 0.009。
• ASAP共享任务中表现最佳的模型加权 kappa 为 0.772，而作者的集成模型在未针对排行榜调优的情况下达到 0.768，表明其具有强大的泛化能力。
• 引入句法特征通过减少对表面词汇选择的依赖，提升了模型的有效性，降低了学生利用词汇策略操纵评分的负面反馈风险。
• 即使存在频繁的拼写错误和语法错误，依存句法分析仍能作为评分的可靠预测信息来源。
• 本研究证明句法特征在实证上具有价值，且在概念上合理，支持其在自动化评分系统中超越词汇特征的整合。
• 结果表明，未来系统应不仅包含词汇特征，还应整合句法和语义特征，以更好地契合测试的预期构念。