[论文解读] A Map of Knowledge.

Zachary A. Pardos, Andrew Nam|arXiv (Cornell University)|Nov 19, 2018

Topic Modeling参考文献 1被引用 5

一句话总结

本文提出一种方法，通过从学生选课模式中学习大学课程的向量表示，从行为数据中提取领域知识。利用从选课行为中推导出的知识图谱，该方法恢复了88%的课程属性和40%的关系类比，其语义保真度高于课程目录描述，证明行为数据能够揭示丰富且可解释的知识结构。

ABSTRACT

Knowledge representation has gained in relevance as data from the ubiquitous digitization of behaviors amass and academia and industry seek methods to understand and reason about the information they encode. Success in this pursuit has emerged with data from natural language, where skip-grams and other linear connectionist models of distributed representation have surfaced scrutable relational structures which have also served as artifacts of anthropological interest. Natural language is, however, only a fraction of the big data deluge. Here we show that latent semantic structure, comprised of elements from digital records of our interactions, can be informed by behavioral data and that domain knowledge can be extracted from this structure through visualization and a novel mapping of the literal descriptions of elements onto this behaviorally informed representation. We use the course enrollment behaviors of 124,000 students at a public university to learn vector representations of its courses. From these behaviorally informed representations, a notable 88% of course attribute information were recovered (e.g., department and division), as well as 40% of course relationships constructed from prior domain knowledge and evaluated by analogy (e.g., Math 1B is to Math H1B as Physics 7B is to Physics H7B). To aid in interpretation of the learned structure, we create a semantic interpolation, translating course vectors to a bag-of-words of their respective catalog descriptions. We find that the representations learned from enrollments resolved course vectors to a level of semantic fidelity exceeding that of their catalog descriptions, depicting a vector space of high conceptual rationality. We end with a discussion of the possible mechanisms by which this knowledge structure may be informed and its implications for data science.

研究动机与目标

• 探讨学生选课行为数据是否可作为学习有意义且可解释的学术知识表示的基础。
• 调查从选课模式中推导出的潜在语义结构在在多大程度上可恢复特定领域的课程属性和关系。
• 开发一种方法，通过将抽象的向量表示映射到课程的自然语言描述，实现对向量表示的解释。
• 评估基于行为数据的向量空间在语义合理性与保真度方面相较于传统文本描述的表现。

提出的方法

• 使用学生选课模式作为行为信号，学习大学课程的稠密向量表示。
• 应用类似 skip-gram 的模型，对课程选课中的共现模式进行建模，以生成分布式表示。
• 通过将课程向量映射到其官方课程目录描述的词袋表示，实现语义插值。
• 通过属性恢复（如院系、学科领域）和类比推理任务评估学习到的表示质量。
• 可视化所得向量空间，以解释课程的语义结构和关系一致性。
• 利用学习到的表示基于先验领域知识重构课程关系，通过类比任务进行评估。

实验结果

研究问题

• RQ1 能否利用课程选课的行为数据学习到捕捉学术知识中语义和关系结构的向量表示？
• RQ2 这些基于行为数据的表示在多大程度上能恢复已知的课程属性（如院系、学科领域）？
• RQ3 学习到的表示在类比任务中（如课程序列关系预测）支持关系推理的能力如何？
• RQ4 基于行为学习的向量表示在语义保真度方面与课程目录中的文本描述相比表现如何？
• RQ5 从原始选课行为中涌现出合理且可解释的知识结构的潜在机制是什么？

主要发现

• 该模型成功从基于行为数据的向量表示中恢复了88%的课程属性信息（如院系、学科领域）。
• 该模型在类比推理任务中取得了40%的成功率，例如预测荣誉课程与普通课程之间的关系。
• 语义插值方法将课程向量映射到自然语言描述，揭示了比原始课程目录文本更高的概念合理性。
• 从选课行为中学习到的向量空间表现出强大的语义保真度，在捕捉课程含义方面优于课程目录描述。
• 对学习到的结构进行可视化揭示了与学术领域知识一致的连贯聚类和关系模式。
• 结果表明，仅依靠行为数据即可生成可解释且富含知识的表示，而无需依赖显式的文本标注。