[论文解读] Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics

Atish Pawar, Vijay Mago|arXiv (Cornell University)|Apr 17, 2018

Natural Language Processing Techniques参考文献 10被引用 3

一句话总结

本文提出了一种基于 WordNet 语义分析、Bloom 分类法用于动词层级认知水平比较，并结合领域特定语料库统计信息以改善消歧义的语义相似度框架，用于比较高等教育中的学习成果（LOs）。该方法在人工标注的相关性上表现优异（r = 0.8753），并在真实课程学习成果上展现出强劲性能，75% 的用户认为结果对学分转移决策具有实用性。

ABSTRACT

The course description provided by instructors is an essential piece of information as it defines what is expected from the instructor and what he/she is going to deliver during a particular course. One of the key components of a course description is the Learning Objectives section. The contents of this section are used by program managers who are tasked to compare and match two different courses during the development of Transfer Agreements between various institutions. This research introduces the development of semantic similarity algorithms to calculate the similarity between two learning objectives of the same domain. We present a novel methodology which deals with the semantic similarity by using a previously established algorithm and integrating it with the domain corpus utilizing domain statistics. The disambiguated domain serves as a supervised learning data for the algorithm. We also introduce Bloom Index to calculate the similarity between action verbs in the Learning Objectives referring to the Blooms taxonomy.

研究动机与目标

• 自动化比较课程之间的学习成果（LOs）以支持学分转移和学分互认协议决策。
• 减少对课程管理者和领域专家进行人工、耗时评估的依赖。
• 通过整合领域特定语料库统计信息与基于 WordNet 的消歧义技术，提升语义相似度计算的准确性。
• 通过动词分类量化学习成果之间的认知水平相似度，利用 Bloom 分类法进行分析。
• 开发一种可扩展、具备领域感知能力的学习成果比较方法，以支持跨机构课程等效性评估。

提出的方法

• 使用基于 WordNet 同义词集（synsets）的改进语义相似度算法，计算学习成果之间词语和短语的相似度。
• 利用领域特定语料库进行词义消歧（WSD），为每个词语选择最符合上下文的同义词集。
• 采用语料库统计信息（如词义频率）以解决歧义，提升语义匹配的准确性。
• 引入 Bloom 指数，通过将动词映射到 Bloom 分类法中的层级结构，计算动作动词之间的相似度。
• 将语义相似度得分与 Bloom 指数得分结合，生成学习成果对的综合相似度度量。
• 通过来自化学和教育领域的实际课程学习成果进行方法验证，并通过人工评估确保可靠性。

实验结果

研究问题

• RQ1 能否通过增强语料库的 WordNet 消歧义技术准确计算学习成果之间的语义相似度？
• RQ2 在学习目标中整合 Bloom 分类法在多大程度上提升了对认知水平相似度的检测能力？
• RQ3 与人工判断相比，该方法在支持自动化课程等效性决策方面的有效性如何？
• RQ4 领域特定语料库的质量和规模对消歧准确率及整体相似度性能有何影响？
• RQ5 语义相似度与认知层级相似度度量的结合能否为学分转移评估提供可靠结果？

主要发现

• 语义相似度算法在词语相似度上的皮尔逊相关系数达到 0.8753，与基准人工判断高度一致。
• 句子相似度组件与人工平均相似度评分的相关系数为 0.8794，表明与人类感知高度一致。
• 75% 的用户（15 人中 10 人）认为 75% 或以上的相似度结果对学分转移决策具有实用性。
• 利用领域特定语料库统计信息进行消歧显著提升了词义选择的准确性，减少了因上下文错误导致的同义词集误用。
• Bloom 指数通过将动作动词映射到 Bloom 分类法的层级，有效捕捉了学习成果之间的认知水平相似度。
• 该方法在真实学习成果上表现出稳健性能，高分相似度（如 0.9949）能正确识别语义等价的目标，例如 'draw conclusions' 和 'examine and assess data'。