[논문 리뷰] CheXpert Plus: Augmenting a Large Chest X-ray Dataset with Text Radiology Reports, Patient Demographics and Additional Image Formats

Pierre Chambon, Jean-Benoit Delbrouck외 7명|arXiv (Cornell University)|2024. 05. 29.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

CheXpert Plus는 허가되지 않은 영상, 환자 인구통계, 병리학 레이블, RadGraph 주석, 다중 포맷 이미지(DICOM 및 PNG)를 통합하여 CheXpert 흉부 X-ray 데이터셋을 크게 향상시켰으며, 영상의학 분야에서 대규모, 공정하고 견고한 AI 연구를 가능하게 합니다. 이 데이터셋은 3600만 개의 텍스트 토큰, 100만 개의 익명화된 개인정보 포함 영역을 포함하고 있으며, 병원 간 훈련을 지원하며, 비상업적 연구를 위해 모델과 데이터를 공개합니다.

ABSTRACT

Since the release of the original CheXpert paper five years ago, CheXpert has become one of the most widely used and cited clinical AI datasets. The emergence of vision language models has sparked an increase in demands for sharing reports linked to CheXpert images, along with a growing interest among AI fairness researchers in obtaining demographic data. To address this, CheXpert Plus serves as a new collection of radiology data sources, made publicly available to enhance the scaling, performance, robustness, and fairness of models for all subsequent machine learning tasks in the field of radiology. CheXpert Plus is the largest text dataset publicly released in radiology, with a total of 36 million text tokens, including 13 million impression tokens. To the best of our knowledge, it represents the largest text de-identification effort in radiology, with almost 1 million PHI spans anonymized. It is only the second time that a large-scale English paired dataset has been released in radiology, thereby enabling, for the first time, cross-institution training at scale. All reports are paired with high-quality images in DICOM format, along with numerous image and patient metadata covering various clinical and socio-economic groups, as well as many pathology labels and RadGraph annotations. We hope this dataset will boost research for AI models that can further assist radiologists and help improve medical care. Data is available at the following URL: https://stanfordaimi.azurewebsites.net/datasets/5158c524-d3ab-4e02-96e9-6ee9efc110a1 Models are available at the following URL: https://github.com/Stanford-AIMI/chexpert-plus

연구 동기 및 목표

• 영상의학 AI 분야에서 이미지-텍스트 데이터의 수요 증가에 대응하기 위해 CheXpert에 영상의학 보고서와 환자 인구통계를 통합함으로써 데이터셋을 보완하고자 한다.
• 대규모, 영어로 된, 다중 소스 데이터셋을 공개함으로써 병원 간 훈련을 가능하게 하고 모델의 견고성을 향상시키고자 한다.
• 임상 및 사회경제적 인구통계 데이터를 포함시켜 AI 모델의 편향을 완화함으로써 공정성 연구를 지원하고자 한다.
• 보고서 생성 및 분류와 같은 후행 작업을 간소화하기 위해 사전 주석 처리된 RadGraph 및 병리학 레이블을 제공하고자 한다.
• 핵심 영상의학 작업(예: 텍스트-이미지 생성 및 텍스트-텍스트 생성)을 위한 증강된 데이터로 훈련된 일련의 모델을 공개하고자 한다.

제안 방법

• 데이터셋은 원본 CheXpert 데이터셋의 고품질 DICOM 및 PNG 이미지와 해당되는 영상의학 보고서를 수집하고 결합하여 구축되었다.
• 보고서는 Findings 및 Impression 섹션으로 분할되었으며, 규칙 기반 NLP와 LLM 기반 익명화를 조합한 하이브리드 파이프라인을 통해 익명화되었고, 이후 자격을 갖춘 영상의학 전문의의 인간 검토를 거쳤다.
• 성별, 민족, 연령, 보험 상태 등의 환자 인구통계 정보가 통합되어 공정성 및 편향 분석을 지원한다.
• NLP 기법을 사용해 보고서에서 병리학 레이블을 자동으로 추출하였으며, Findings 및 Impression 섹션에 대해 RadGraph 주석을 계산하였다.
• 엄격한 4단계 익명화 절차를 통해 100만 개의 모든 개인정보 포함 영역(PHI spans)이 합성 값으로 대체되었으며, 보고서의 구조와 의미는 그대로 유지되었다.
• 데이터셋은 연구 목적 사용 계약 하에 공개되었으며, 데이터로 훈련된 모델은 보고서 생성, 요약, 분류 등의 작업을 위해 제공되었다.

실험 결과

연구 질문

• RQ1 대규모, 익명화된, 다중 소스 영상의학 데이터셋이 흉부 X-ray 분석에서 시각-언어 모델의 성능과 견고성을 어떻게 향상시킬 수 있는가?
• RQ2 영상의학 데이터셋에 인구통계 및 사회경제적 데이터를 포함시킬 경우, AI 모델 예측의 편향을 어느 정도 줄일 수 있는가?
• RQ3 DICOM 및 PNG 등 다양한 포맷의 이미지와 보고서가 짝지어 제공될 경우, 효과적인 병원 간 훈련이 가능하고 모델 일반화 능력이 향상되는가?
• RQ4 자동화된 하이브리드 파이프라인과 인간 검토를 병행한 익명화 절차는 영상의학 보고서에서 데이터 유용성을 유지하면서도 환자 개인정보를 얼마나 잘 보호할 수 있는가?
• RQ5 RadGraph 구조화된 주석이 보고서 생성 및 의학적 개념 추출과 같은 후행 작업에 어떤 영향을 미치는가?

주요 결과

• CheXpert Plus는 영상의학 분야에서 공개된 가장 큰 텍스트 데이터셋으로, 총 3600만 개의 텍스트 토큰(중요한 1300만 개의 Impression 토큰 포함)을 포함하고 있으며, 대규모로 익명화된 보고서를 포함한 첫 번째 데이터셋이다.
• 이 데이터셋은 약 100만 개의 익명화된 개인정보 포함 영역(PHI spans)을 포함하고 있으며, 영상의학 분야에서 가장 큰 익명화 작업을 기록했으며, 하이브리드 자동화 및 인간 검토 절차를 통해 개인정보 보호를 확보했다.
• 이것은 영상의학 분야에서 두 번째로 대규모의 영어로 된 이미지-텍스트 쌍 데이터셋이며, 병원 간 훈련을 가능하게 하고 다양한 임상 환경에서 모델의 견고성을 향상시킨다.
• Findings 및 Impression 섹션에 대해 14개의 자동 추출 병리학 레이블과 사전 계산된 RadGraph 주석을 제공하여, 후행 NLP 및 시각-언어 작업을 간소화한다.
• 익명화 파이프라인이 모든 진짜 개인정보 포함 영역을 합성 값으로 성공적으로 대체하였으며, 최종 검증 단계에서 0.01% 이하의 개인정보 포함 영역만 부분적으로 누락된 것으로 확인되었다.
• 보고서 생성, 요약, 분류 등의 핵심 영상의학 작업을 위한 사전 훈련된 모델 세트가 공개되어 있으며, 의료 AI 분야의 연구를 가속화한다.