[论文解读] Combining Prediction and Interpretation in Decision Trees (PrInDT) -- a Linguistic Example

Claus Weihs, Sarah Buschfeld|arXiv (Cornell University)|Mar 3, 2021

Natural Language Processing Techniques参考文献 5被引用 5

一句话总结

本文提出 PrInDT，一种新颖的统计方法，通过结合预测准确性和可解释性，将决策树应用于语言数据的分析。通过整合条件推理树与重采样技术（尤其是欠采样），PrInDT 识别出在儿童第一语言英语中主语代词实现（零形式 vs. 显性形式）的稳健且具有语言学意义的规则，实现了较高的预测能力（AUC 最高达 0.85）以及在 3,941 棵重采样树中的强可解释性。

ABSTRACT

In this paper, we show that conditional inference trees and ensembles are suitable methods for modeling linguistic variation. As against earlier linguistic applications, however, we claim that their suitability is strongly increased if we combine prediction and interpretation. To that end, we have developed a statistical method, PrInDT (Prediction and Interpretation with Decision Trees), which we introduce and discuss in the present paper.

研究动机与目标

• 解决定量社会语言学研究中低词频和数据不平衡的挑战，特别是针对非标准语形式。
• 克服传统统计模型仅侧重预测能力或可解释性之一的局限，实现两者兼顾。
• 开发一种统一方法，从语言学和统计学双重视角同时评估模型，以确保可解释性与高预测性能并存。
• 将该方法应用于新加坡与英国的儿童语言真实数据，将主语代词实现（零形式 vs. 显性形式）建模为语外与语内变量的函数。
• 证明可解释树的集成能提升模型稳健性，并更好地反映社会语言变异中系统性与变异性并存的特征。

提出的方法

• 应用条件推理树，利用语外变量（种族 ETH、年龄 AGE、性别 SEX、语言背景 LiBa、平均话语长度 MLU）和语内变量（PRN）建模主语代词实现的二元结果（零形式或显性形式）。
• 实施基于重复随机欠采样的重采样策略，以应对类别不平衡问题，生成 3,941 个重采样数据集以训练单棵决策树。
• 使用两个标准评估每棵树：预测能力（以 AUC 和准确率衡量）和可解释性（分裂的清晰度与语言学合理性）。
• 基于可解释性与预测准确性的联合优化，选择表现最佳的三棵树（AUC > 0.85，准确率 > 0.75）。
• 从最佳树中构建集成模型，以提升稳健性与代表性，3,941 棵树的集成模型准确率达到 0.690，AUC 为 0.78。
• 在集成模型中引入预测变量重要性排序，以增强可解释性，类似于随机森林中的变量重要性方法，从而指导语言学解释。

实验结果

研究问题

• RQ1 哪些语外与语内变量显著影响儿童第一语言英语中主语代词实现（零形式 vs. 显性形式）？
• RQ2 如何优化决策树模型，使其在小样本、不平衡的语言学数据集中同时实现高预测准确性和强可解释性？
• RQ3 决策树的集成在多大程度上能提升模型稳健性，并更好地反映社会语言变异中系统性与变异性并存的特征？
• RQ4 基于重采样的方法（如 PrInDT）在多大程度上能缓解低频语言现象（如零代词）中的过拟合与虚假发现风险？
• RQ5 如何将语言学理论与先前的经验发现整合到模型构建中，以增强可解释性，同时不牺牲预测性能？

主要发现

• 表现最佳的三棵 PrInDT 树实现了受试者工作特征曲线下面积（AUC）为 0.85，准确率为 0.75，表明其在保持可解释性的同时具备强大的预测性能。
• 3,941 棵树的集成模型准确率达到 0.690，AUC 为 0.78，表明尽管单棵树准确率较低，大规模集成仍能提升模型稳定性和代表性。
• 发现可解释性高但预测能力低的树（如 AUC < 0.6）具有误导性，凸显了同时评估两项标准的必要性。
• 集成模型捕捉到了社会语言学数据中固有的随机性与变异性，既反映了说话者间与说话者内变异，又未丢失系统性模式。
• 该方法成功识别出年龄、种族和语言背景显著影响主语代词实现，新加坡儿童表现出更高的零代词使用率，支持了输入驱动变异的假设。
• 集成模型中的预测变量重要性排序显示，年龄和种族是影响最大的变量，与社会语言学研究的理论预期一致。