[논문 리뷰] Chest ImaGenome Dataset for Clinical Reasoning

Joy T. Wu, Nkechinyere N. Agu외 10명|arXiv (Cornell University)|2021. 07. 31.

COVID-19 diagnosis using AI참고 문헌 48인용 수 26

한 줄 요약

본 논문은 해부학적 위치를 속성 및 연속 비교 관계와 자동으로 연결하는 대형 다중 모달 흉부 X선 씬 그래프 데이터셋인 Chest ImaGenome을 소개합니다. 이는 국지적 설명 가능성과 종적 임상 추론 연구를 가능하게 합니다. MIMIC-CXR를 기반으로 벤치마킹을 위한 242,072개의 씬 그래프와 1,256개의 관계 유형, 골드 표준 부분집합을 제공합니다.

ABSTRACT

Despite the progress in automatic detection of radiologic findings from chest X-ray (CXR) images in recent years, a quantitative evaluation of the explainability of these models is hampered by the lack of locally labeled datasets for different findings. With the exception of a few expert-labeled small-scale datasets for specific findings, such as pneumonia and pneumothorax, most of the CXR deep learning models to date are trained on global "weak" labels extracted from text reports, or trained via a joint image and unstructured text learning strategy. Inspired by the Visual Genome effort in the computer vision community, we constructed the first Chest ImaGenome dataset with a scene graph data structure to describe $242,072$ images. Local annotations are automatically produced using a joint rule-based natural language processing (NLP) and atlas-based bounding box detection pipeline. Through a radiologist constructed CXR ontology, the annotations for each CXR are connected as an anatomy-centered scene graph, useful for image-level reasoning and multimodal fusion applications. Overall, we provide: i) $1,256$ combinations of relation annotations between $29$ CXR anatomical locations (objects with bounding box coordinates) and their attributes, structured as a scene graph per image, ii) over $670,000$ localized comparison relations (for improved, worsened, or no change) between the anatomical locations across sequential exams, as well as ii) a manually annotated gold standard scene graph dataset from $500$ unique patients.

연구 동기 및 목표

• 해부학적 위치를 소견 및 기타 속성과 연결하여 방사선과의 추론을 반영하는 대형의 지역 라벨링된 CXR 데이터셋을 생성한다.
• NLP와 도해 기반 바운딩 박스 파이프라인을 이용해 CXR 보고서에서 씬 그래프를 자동으로 추출한다.
• 질병의 시간 경과에 따른 진행을 포착하기 위해 검사 간의 연속 비교 관계를 제공한다.
• 모든 객체, 속성 및 관계를 UMLS CUIs에 매핑하여 상호 운용 가능한 다중 모달 추론을 가능하게 한다.
• 벤치마킹을 위한 골드 표준 주석을 제공하고 후속 임상 및 연구 응용에 지원한다.

제안 방법

• 29개의 해부학적 위치에 대한 바운딩 박스를 도해 기반 추출로 MIMIC-CXR에서 주석을 도출한다.
• 룰 기반 NLP 파이프라인과 방사선 전문의가 큐레이션한 CXR 온톨로지를 사용해 242,072장의 이미지에 걸쳐 1,256개의 객체-속성 관계 유형을 추출한다.
• 각 이미지에 대해 노드(객체), 속성 및 관계를 포함한 씬 그래프를 구성한다(연속 비교 관계를 포함).
• 상호 운용성을 위해 노드와 에지를 자동으로 UMLS CUIs에 연결한다(방사선학 중심 RadLex/UMSL 개념).
• 객체-속성 및 객체-객체 관계와 바운딩 박스에 대해 수동 검증을 포함하는 500명의 골드 표준 부분집합을 만든다.
• 연구 단위에서 씬 그래프를 렌더링하고 시각화를 위한 RDF 유사 형식으로의 후처리 유틸리티를 제공한다.

실험 결과

연구 질문

• RQ1 해부학적 위치-속성 관계와 연속 비교 관계를 CXR 보고서와 이미지에서 대규모로 자동 추출할 수 있는가?
• RQ2 자동 추출이 객체-속성 및 객체-객체 관계에 대해 방사선과 주석(골드 표준)과 얼마나 잘 일치하는가?
• RQ3 추출된 씬 그래프가 종적 임상 추론 및 다중 모달 융합 작업에 사용할 수 있는가?
• RQ4 CXRs에서 주요 해부학 구조의 바운딩 박스 로컬라이제이션 커버리지와 정확도는 얼마나 되는가?
• RQ5 연속 CXR 간의 변화 탐지와 같은 다운스트림 작업에 이 데이터셋을 어떻게 활용할 수 있는가?

주요 결과

• 1) 자동으로 242,072개의 씬 그래프를 217,013개의 고유 CXR 연구에서 구성하고 1,256개의 관계 유형과 29개의 해부학적 위치를 확보합니다.
• 2) 128,468개의 연속 CXR 쌍에서 678,543건이 넘는 객체-객체 비교 관계를 추출했습니다.
• 3) 수동 검증이 포함된 골드 표준 부분집합(500명)에서 객체-속성과 비교 관계 추출에 대해 높은 정밀도/재현율를 보이나 방향성(laterality) 및 문장 간 정보의 교차에 도전이 있음.
• 4) 바운딩 박스 파이프라인은 이미지당 최대 29개의 해부학 구조를 탐지할 수 있는 높은 커버리지와 대부분의 객체에서 낮은 누락율을 달성합니다(0.02% 미만).
• 5) 데이터셋은 UMLS CUIs에 매핑되어 다른 임상 데이터 소스와의 교차 도메인 통합을 가능하게 합니다.
• 6) 제공된 두 가지 예시 작업은 임상적 유용성을 강조합니다: 이미지당 속성 유형 위치 파악 및 연속 검사 간의 변화 판단.