[论文解读] Detailed Annotations of Chest X-Rays via CT Projection for Report Understanding

Constantin Seibold, Simon Reiß+8 more|arXiv (Cornell University)|Oct 7, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 PAXRay，一个新颖的数据库，通过将高质量 3D CT 分割结果投影到 2D X 射线图像上，生成胸部 X 光片的详细解剖结构分割。该方法利用基于 CT 的解剖结构标注，并通过图像重建将这些标注投影至 X 光片，从而实现对 CXR 的精确、细粒度解剖结构标注——显著减少标注时间，并在 OpenI 数据集上使医学短语定位性能相比最先进区域提议方法提升高达 50%。

ABSTRACT

In clinical radiology reports, doctors capture important information about the patient's health status. They convey their observations from raw medical imaging data about the inner structures of a patient. As such, formulating reports requires medical experts to possess wide-ranging knowledge about anatomical regions with their normal, healthy appearance as well as the ability to recognize abnormalities. This explicit grasp on both the patient's anatomy and their appearance is missing in current medical image-processing systems as annotations are especially difficult to gather. This renders the models to be narrow experts e.g. for identifying specific diseases. In this work, we recover this missing link by adding human anatomy into the mix and enable the association of content in medical reports to their occurrence in associated imagery (medical phrase grounding). To exploit anatomical structures in this scenario, we present a sophisticated automatic pipeline to gather and integrate human bodily structures from computed tomography datasets, which we incorporate in our PAXRay: A Projected dataset for the segmentation of Anatomical structures in X-Ray data. Our evaluation shows that methods that take advantage of anatomical information benefit heavily in visually grounding radiologists' findings, as our anatomical segmentations allow for up to absolute 50% better grounding results on the OpenI dataset as compared to commonly used region proposals. The PAXRay dataset is available at https://constantinseibold.github.io/paxray/.

研究动机与目标

• 为解决胸部 X 光片中缺乏细粒度解剖结构标注的问题，而这类标注对准确的医学报告解读至关重要。
• 克服在 CXR 中进行人工像素级分割所导致的高昂时间成本，其耗时可达每幅图像三小时之久。
• 通过在图像-区域对齐中整合解剖结构上下文，实现更可靠的医学短语定位。
• 开发一种可扩展的流程，利用源自 CT 的标签在 CXR 上生成密集的解剖结构标注。
• 证明基于解剖结构的区域提议在定位准确率方面显著优于传统方法。

提出的方法

• 该方法基于前向与反向投影原理，通过 CT 到 X 射线的投影流程，将 3D 解剖结构分割从 CT 扫描投影到 2D X 射线图像上。
• 利用最先进的深度学习模型（如 nnU-Net）对 CT 数据进行 3D 分割，以确保高质量的解剖结构标签。
• 将投影得到的 2D 掩码用于直接在真实 CXR 图像上训练分割模型，从而实现对投影之外的泛化能力。
• 该方法采用多阶段流程：CT 分割 → 3D 到 2D 投影 → 通过弱监督学习在真实 CXR 数据上进行优化。
• 该方法实现了新数据集 PAXRay 的创建，其在 CXR 上具有密集且细粒度的解剖结构掩码。
• 该框架可通过整合额外的 CT 数据集，轻松扩展至新的解剖结构或病理情况。

实验结果

研究问题

• RQ1 能否有效将 CT 扫描中的解剖结构分割投影至 X 射线，以生成 CXR 的准确、密集标注？
• RQ2 与标准区域提议方法相比，使用解剖结构信息是否能提升医学短语定位性能？
• RQ3 基于解剖结构的定位在多大程度上减轻了 CXR 分析中的标注负担？
• RQ4 在投影 CT 标签上训练的模型是否能泛化至真实 CXR 图像以实现解剖结构分割？
• RQ5 在弱监督设置下，基于解剖结构的定位性能与理想上限（oracle）相比如何？

主要发现

• 与 OpenI 数据集上的基线区域提议相比，该方法在 50% IoU 阈值下，医学短语定位的命中率最高提升 50%。
• 基于解剖结构的模型在正位视图中表现优于基于选择性搜索的 oracle 性能，实现 75% IoU 条件下的 49.4% Top-10 检索率，超过 oracle 的 47.7%。
• 基于解剖结构的提议在 50% IoU 条件下命中率保持稳定（Top-10 为 26.3%），而选择性搜索在相同阈值下下降近 56%。
• 同时使用解剖结构信息与修饰语（如“第六根后肋”）可提升定位性能，优于仅使用完整句子嵌入或仅使用解剖结构信息。
• PAXRay 数据集使在真实 CXR 上训练高精度解剖结构分割模型成为可能，投影掩码可作为弱监督学习的强初始化。
• 该方法将每幅 CXR 的细粒度标注时间成本从最高三小时减少至可扩展的自动化流程。