[论文解读] A Comparative Study of Machine Learning Methods for Verbal Autopsy Text Classification

Samuel Danso, Eric Atwell+1 more|arXiv (Cornell University)|Feb 18, 2014

Advanced Text Analysis Techniques参考文献 38被引用 25

一句话总结

本研究评估了在低资源环境下利用机器学习方法对口头尸检（VA）文本中的死亡原因进行分类的方法。研究比较了特征表示方法（如TF-IDF、归一化词频）、分类器（包括SVM）以及特征降维策略，发现使用TF-IDF或归一化频率的SVM分类器准确率最高，且采用局部半监督特征降维方法可进一步提升性能。

ABSTRACT

A Verbal Autopsy is the record of an interview about the circumstances of an uncertified death. In developing countries, if a death occurs away from health facilities, a field-worker interviews a relative of the deceased about the circumstances of the death; this Verbal Autopsy can be reviewed off-site. We report on a comparative study of the processes involved in Text Classification applied to classifying Cause of Death: feature value representation; machine learning classification algorithms; and feature reduction strategies in order to identify the suitable approaches applicable to the classification of Verbal Autopsy text. We demonstrate that normalised term frequency and the standard TFiDF achieve comparable performance across a number of classifiers. The results also show Support Vector Machine is superior to other classification algorithms employed in this research. Finally, we demonstrate the effectiveness of employing a "locally-semi-supervised" feature reduction strategy in order to increase performance accuracy.

研究动机与目标

• 评估并比较用于从口头尸检文本中分类死亡原因的机器学习方法。
• 评估不同特征表示技术对分类准确率的影响。
• 确定最适合VA文本数据的机器学习分类器。
• 研究特征降维策略在提升分类性能中的作用。
• 识别在VA文本分类中特征表示、分类算法与特征降维的最佳组合。

提出的方法

• 本研究使用在发展中国家通过现场访谈收集的口头尸检文本数据集。
• 通过归一化词频和标准TF-IDF向量评估特征表示方法。
• 在相同数据集上训练并比较多种分类器，包括支持向量机（SVM）。
• 应用局部半监督特征降维策略，基于有标签和无标签数据选择信息量丰富的特征。
• 使用准确率、精确率和召回率等标准分类指标衡量性能。
• 采用对比实验设计，评估特征表示、分类器选择与特征降维之间的交互作用。

实验结果

研究问题

• RQ1 在口头尸检文本中，归一化词频与TF-IDF哪种特征表示方法能获得更好的分类性能？
• RQ2 不同机器学习分类器，尤其是SVM，在从VA文本中分类死亡原因方面表现如何？
• RQ3 特征降维在多大程度上能提升口头尸检文本分类的准确率？
• RQ4 局部半监督特征降维策略是否能超越传统方法，进一步提升性能？
• RQ5 在VA文本分类中，哪种特征表示、分类器与特征降维的组合能获得最高准确率？

主要发现

• 支持向量机（SVM）在口头尸检文本数据的分类准确率方面优于其他分类器。
• 归一化词频与标准TF-IDF在多种分类器上表现相当。
• 与基线方法相比，局部半监督特征降维策略显著提升了分类准确率。
• 利用无标签数据进行特征降维可增强模型泛化能力，并在低资源环境中减少过拟合。
• 使用TF-IDF或归一化频率配合SVM及局部半监督特征降维的组合，可获得最高的整体性能。
• 本研究证实，有效的特征工程与模型选择对于口头尸检中准确的死亡原因分类至关重要。