[论文解读] Anna Karenina Strikes Again: Pre-Trained LLM Embeddings May Favor High-Performing Learners

Abigail Gurin Schleifer, Beata Beigman Klebanov+2 more|arXiv (Cornell University)|Jun 6, 2024

Legal Systems and Judicial Processes被引用 4

一句话总结

本研究调查了预训练大型语言模型（LLM）嵌入是否能准确捕捉学生在开放性生物学问题回答中的教学上有意义的认知与行为特征。基于专家教育者构建的理论驱动知识图谱（KPs），作者发现基于LLM嵌入的聚类方法无法恢复大多数KPs——除正确回答特征外，这是由于嵌入空间中存在一种偏差，即高分回答在该空间中更密集分布，作者将这一现象称为“安娜·卡列尼娜原则”。

ABSTRACT

Unsupervised clustering of student responses to open-ended questions into behavioral and cognitive profiles using pre-trained LLM embeddings is an emerging technique, but little is known about how well this captures pedagogically meaningful information. We investigate this in the context of student responses to open-ended questions in biology, which were previously analyzed and clustered by experts into theory-driven Knowledge Profiles (KPs). Comparing these KPs to ones discovered by purely data-driven clustering techniques, we report poor discoverability of most KPs, except for the ones including the correct answers. We trace this "discoverability bias" to the representations of KPs in the pre-trained LLM embeddings space.

研究动机与目标

• 评估基于数据驱动的LLM生成嵌入聚类方法在多大程度上与科学教育中理论驱动、专家标注的知识图谱（KPs）相吻合。
• 调查预训练LLM嵌入是否在开放性科学回答中保留了正确与错误回答之间具有教学意义的区分。
• 识别并表征嵌入空间中系统性偏差的存在，该偏差倾向于高分学习者，可能损害自动化形成性反馈系统。
• 证明这种偏差——称为“安娜·卡列尼娜原则”——源于嵌入的几何结构，并损害了基于错误的知识图谱（KPs）的可发现性。

提出的方法

• 收集了高中生对两个生物学构造性回答问题的开放性回答。
• 基于因果-机械解释框架的理论驱动评分标准，为每个回答分配二元标签（11或10个类别），以实现专家验证的知识图谱（KPs）。
• 应用KMeans和HDBSCAN聚类算法对AlephBERT LLM生成的语义嵌入进行分析，以发现数据驱动的聚类。
• 使用调整兰德指数和聚类同质性度量，将所得聚类与专家标注的KPs进行比较。
• 分析嵌入在向量空间中的几何分布，以识别不同KPs之间（特别是正确与错误回答之间）在密度和形状上的差异。
• 提出并命名“安娜·卡列尼娜原则”，用以描述仅高分回答在嵌入空间中形成结构良好、密集聚类的现象。

实验结果

研究问题

• RQ1 RQ1：应用于预训练LLM嵌入的基于数据驱动的聚类方法（KMeans和HDBSCAN）在多大程度上能恢复学生在开放性生物学问题回答中专家标注的知识图谱（KPs）？
• RQ2 RQ2：KPs在预训练LLM嵌入空间中如何呈现？嵌入的哪些结构特性导致了大多数KPs无法被发现？
• RQ3 RQ3：嵌入空间的几何结构——特别是密度和形状——在多大程度上倾向于正确回答而非错误回答，这如何影响下游聚类？

主要发现

• LLM嵌入的KMeans和HDBSCAN聚类与专家标注的KPs对齐程度较差，调整兰德指数显示对应关系较低。
• 只有代表正确回答的KPs被两种聚类方法一致恢复，表明嵌入空间中存在强烈偏差。
• 正确回答的嵌入表示形成了密集且分离良好的聚类，而错误回答则分布稀疏且分组不佳，表明其在几何上被欠代表。
• 本研究识别出预训练LLM嵌入中存在一种系统性偏差，即高分回答在嵌入空间中具有更高的结构一致性——作者将这一现象称为“安娜·卡列尼娜原则”。
• 该偏差导致无法发现基于错误的知识图谱（KPs），而这些图谱对形成性反馈至关重要，尤其对学习困难的学生而言。
• 结果表明，未经领域特定微调或人工监督的现成LLM嵌入可能不适合用于教育画像，特别是针对低分学生。