[논문 리뷰] Knowledge-based in silico models and dataset for the comparative evaluation of mammography AI for a range of breast characteristics, lesion conspicuities and doses

Elena Sizikova, Niloufar Saharkhiz외 5명|arXiv (Cornell University)|2023. 10. 27.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 지식 기반 디지털 유방 모델과 몬테카를로 X선 시뮬레이션을 사용하여 물리 기반의 시뮬레이션 파이프라인을 제안하며, 다양한 유방 특성, 병변의 눈에 띄는 정도, 방사선 선량을 고려한 인공지능(AI) 성능 평가를 위한 현실적인 합성 유방촬영 영상 데이터셋을 생성한다. 주요 기여는 M-SYNTH 데이터셋을 공개한 것으로, 이는 유방 밀도, 종양 크기, 종양 밀도, 노출 수준이 다양하게 설정된 1,200개의 합성 케이스로 구성되어 있으며, AI 성능이 유방 밀도가 높아질수록 감소하고 선량이 낮아질수록 향상됨을 입증하여, 실제 환자 데이터에 비해 확장 가능하고 개인정보 보호에 유리한 대안임을 검증한다.

ABSTRACT

To generate evidence regarding the safety and efficacy of artificial intelligence (AI) enabled medical devices, AI models need to be evaluated on a diverse population of patient cases, some of which may not be readily available. We propose an evaluation approach for testing medical imaging AI models that relies on in silico imaging pipelines in which stochastic digital models of human anatomy (in object space) with and without pathology are imaged using a digital replica imaging acquisition system to generate realistic synthetic image datasets. Here, we release M-SYNTH, a dataset of cohorts with four breast fibroglandular density distributions imaged at different exposure levels using Monte Carlo x-ray simulations with the publicly available Virtual Imaging Clinical Trial for Regulatory Evaluation (VICTRE) toolkit. We utilize the synthetic dataset to analyze AI model performance and find that model performance decreases with increasing breast density and increases with higher mass density, as expected. As exposure levels decrease, AI model performance drops with the highest performance achieved at exposure levels lower than the nominal recommended dose for the breast type.

연구 동기 및 목표

• 실제 환자 데이터셋의 한계를 해결하기 위해, 해부학적 다양성 부족, 개인정보 제약, 병변 경계에 대한 참값 부재 등의 문제를 해결하고자 한다.
• 다양한 환자 및 영상 매개변수를 고려한 확장 가능하고 개인정보 보호에 적합한 AI 성능 평가 방법을 개발하고자 한다.
• 통제 가능하고 반복 가능하며 윤리적으로 안전한 AI 모델의 유방촬영 분야 테스트를 가능하게 하는 시뮬레이션 기반 프레임워크를 구축하고자 한다.
• 물리 기반 시뮬레이션을 통해 생성된 합성 데이터가 실제 세계의 AI 성능 추세를 반영할 수 있는지 검증하고자 한다. 특히, 유방 밀도와 방사선 선량의 영향에 대해 검증하고자 한다.
• 재현 가능하고 비교 가능한 유방촬영 AI 모델 평가를 지원하기 위해 공개된 데이터셋(M-SYNTH)을 제공하고자 한다.

제안 방법

• 이 방법은 인간 해부의 확률적 지식 기반(KB) 모델을 사용하여 유방 섬유선형 밀도, 종양 크기, 종양 밀도가 다양하게 설정된 1,200개의 고유한 디지털 유방 페르소나를 생성한다.
• 각 페르소나는 디지털 mammography 시스템의 디지털 복제본을 사용하여 이미징되며, VICTRE 툴킷을 활용한 몬테카를로 시뮬레이션을 통해 X선 촬영을 시뮬레이션한다.
• 이미징 파이프라인은 네 가지 유방 밀도 범주에 걸쳐 노출 수준을 제어하여 선량-반응 분석을 가능하게 한다.
• 수득된 합성 영상은 AUC와 같은 지표를 사용하여 AI 모델 성능 평가에 활용되며, 물리적 및 촬영 매개변수 간 비교가 가능하다.
• 이 방법은 종양 위치와 범위와 같은 객체 및 촬영 매개변수에 대한 완전한 제어를 가능하게 하며, 이는 일반적으로 실제 데이터에서 누락되는 요소들이다.
• 데이터셋은 사전 계산되어 GitHub를 통해 배포되어 사용자의 오프라인 평가를 가능하게 하고 계산 부담을 줄인다.

Figure 1: Overview of the computational pipeline components for generating the M-SYNTH in silico dataset for medical imaging AI evaluation.

실험 결과

연구 질문

• RQ1 합성 유방촬영 영상에서 AI 모델 성능은 유방 밀도가 증가함에 따라 어떻게 변화하는가?
• RQ2 병변의 눈에 띄는 정도(크기 및 밀도)가 다양한 유방 밀도에서 AI 검출 성능에 어떻게 영향을 미치는가?
• RQ3 방사선 선량은 AI 성능에 어떤 영향을 미치며, 임상적 권장 선량 이하에서 성능이 최고조에 이를 수 있는가?
• RQ4 물리 기반 시뮬레이션을 통해 생성된 합성 데이터는 실제 세계의 AI 성능 추세를 반영할 수 있는가?
• RQ5 이미지 통계 및 방사선학적 특성 측면에서 시뮬레이션된 데이터는 실제 환자 데이터와 어느 정도 일치하는가?

주요 결과

• AUC로 측정한 AI 모델 성능은 기대한 바와 같이 유방 밀도가 높아질수록 감소하고, 종양 크기와 종양 밀도가 클수록 향상된다.
• 낮은 방사선 선량에서 성능이 향상되며, 각 유방 유형에 대해 권장 선량 이하의 노출 수준에서 가장 높은 AUC를 기록한다.
• 합성 영상들은 특히 네 가지 유방 밀도 모두에서 평균, 분산, 왜도, 첨도 등의 이미지 모멘트 측면에서 실제 환자 데이터와 상당히 잘 일치한다.
• M-SYNTH 데이터셋은 물리적 및 영상 매개변수에 따른 성능 차이를 탐지할 수 있으며, 이는 방법의 핵심 변수에 대한 민감도를 확인한다.
• 실제 환자 데이터로 훈련된 AI 모델(INBreast)을 합성 데이터로 테스트했을 때 성능이 잘 유지됨을 확인하여, 이 프레임워크가 규제 평가에 실용적임을 뒷받침한다.
• 본 연구는 물리 기반 시뮬레이션이 실제 환자 데이터에 비해 비용이 더 적게 들고 개인정보 보호에 유리하며, 비교적 평가에 적합한 대안이 될 수 있음을 입증한다.

Figure 6: Dose distribution (# of hist.) and percentages of optimal dose considered by breast density.