[论文解读] Automatic Classification of Pathology Reports using TF-IDF Features

Shivam Kalra, Larry Li+1 more|arXiv (Cornell University)|Mar 5, 2019

Biomedical Text Mining and Ontologies参考文献 14被引用 14

一句话总结

本研究提出了一种基于TF-IDF的机器学习方法，利用SVM、XGBoost和逻辑回归对癌症病理报告进行自动分类，归入ICD-O诊断类别。该方法在XGBoost模型下实现了92%的准确率，表明TF-IDF能有效突出关键诊断术语，适用于计算病理学与癌症监测。

ABSTRACT

A Pathology report is arguably one of the most important documents in medicine containing interpretive information about the visual findings from the patient's biopsy sample. Each pathology report has a retention period of up to 20 years after the treatment of a patient. Cancer registries process and encode high volumes of free-text pathology reports for surveillance of cancer and tumor diseases all across the world. In spite of their extremely valuable information they hold, pathology reports are not used in any systematic way to facilitate computational pathology. Therefore, in this study, we investigate automated machine-learning techniques to identify/predict the primary diagnosis (based on ICD-O code) from pathology reports. We performed experiments by extracting the TF-IDF features from the reports and classifying them using three different methods---SVM, XGBoost, and Logistic Regression. We constructed a new dataset with 1,949 pathology reports arranged into 37 ICD-O categories, collected from four different primary sites, namely lung, kidney, thymus, and testis. The reports were manually transcribed into text format after collecting them as PDF files from NCI Genomic Data Commons public dataset. We subsequently pre-processed the reports by removing irrelevant textual artifacts produced by OCR software. The highest classification accuracy we achieved was 92\% using XGBoost classifier on TF-IDF feature vectors, the linear SVM scored 87\% accuracy. Furthermore, the study shows that TF-IDF vectors are suitable for highlighting the important keywords within a report which can be helpful for the cancer research and diagnostic workflow. The results are encouraging in demonstrating the potential of machine learning methods for classification and encoding of pathology reports.

研究动机与目标

• 解决癌症登记机构对非结构化病理报告进行人工、耗时分类的挑战。
• 实现在自由文本病理报告中自动、可扩展地提取主要诊断（ICD-O编码）。
• 评估TF-IDF特征与机器学习模型结合在诊断分类中的有效性。
• 构建一个包含1,949份手动转录的病理报告的新公开数据集，覆盖四个主要癌症部位。
• 证明TF-IDF能够突出对诊断和研究具有临床意义的关键字。

提出的方法

• 从从NCI基因组数据公共平台获取的1,949份手动转录的病理报告中提取TF-IDF特征。
• 通过去除OCR生成的伪影并标准化文本，对报告进行预处理，以提升特征质量。
• 在TF-IDF特征向量上训练并比较三种分类器——SVM（线性和RBF核）、逻辑回归和XGBoost。
• 使用LDA提取潜在主题，并对前50个TF-IDF加权关键字进行着色，以增强可解释性与临床相关性。
• 采用微平均和宏平均F1分数指标评估模型性能，并使用分层训练-测试划分以确保稳健性。
• 通过定性检查关键字与主题的匹配关系，验证所提取术语的临床可解释性。

实验结果

研究问题

• RQ1 TF-IDF特征能否有效表示非结构化病理报告中的诊断内容，以支持机器学习分类？
• RQ2 在SVM、逻辑回归和XGBoost中，哪种机器学习分类器在从病理报告预测ICD-O诊断编码方面表现最佳？
• RQ3 TF-IDF与LDA联合使用在多大程度上能突出病理报告中的临床相关关键字与生物标志物？
• RQ4 对于此分类任务，SVM的线性核与非线性核在模型性能上表现如何？
• RQ5 所提出的方法能否在保持高诊断准确率的同时，减少癌症登记报告中的手动工作量？

主要发现

• XGBoost分类器在微平均F1分数上达到最高值0.92，在宏平均F1分数上达到0.31，优于所有其他模型。
• 使用线性核的SVM模型达到87%的测试准确率，显著优于RBF核（75%）。
• 逻辑回归模型的测试准确率为78%，而线性SVM为87%，表明线性模型表现优异。
• TF-IDF特征成功突出‘epithelial’（上皮）、‘presence’（存在）、‘necrosis’（坏死）和‘tumor’（肿瘤）等关键诊断术语，并赋予其高权重。
• 通过LDA辅助的着色编码，揭示了具有临床意义的主题，如‘tumor necrosis’（肿瘤坏死）和‘lymph node involvement’（淋巴结受累），增强了结果的可解释性。
• 本研究构建了一个新的、公开可用的数据集，包含1,949份病理报告，覆盖37个ICD-O类别，为未来自动化病理报告分析研究提供支持。