[논문 리뷰] SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In Silico Experiments

Gao Cong, Benjamin D. Killeen외 5명|arXiv (Cornell University)|2022. 06. 13.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

SyntheX는 환자별 3차원 CT 모델에서 유도된 현실적으로 구축된 X선 영상에 대해 도메인 랜덤라이제이션 및 도메인 어댑테이션 기법을 활용해 깊이 학습 모델을 훈련할 수 있는 확장 가능한 프레임워크를 제안한다. 이 방법은 실제 데이터로 훈련된 모델과 동등하거나 그 이상의 성능을 실세계 X선 데이터에서 달성하며, 실시간 데이터 수집의 윤리적 또는 물리적 제약 없이도 임상적이고 일반화 가능한 인공지능을 위한 합성 데이터의 잠재력을 입증한다.

ABSTRACT

Artificial intelligence (AI) now enables automated interpretation of medical images for clinical use. However, AI's potential use for interventional images (versus those involved in triage or diagnosis), such as for guidance during surgery, remains largely untapped. This is because surgical AI systems are currently trained using post hoc analysis of data collected during live surgeries, which has fundamental and practical limitations, including ethical considerations, expense, scalability, data integrity, and a lack of ground truth. Here, we demonstrate that creating realistic simulated images from human models is a viable alternative and complement to large-scale in situ data collection. We show that training AI image analysis models on realistically synthesized data, combined with contemporary domain generalization or adaptation techniques, results in models that on real data perform comparably to models trained on a precisely matched real data training set. Because synthetic generation of training data from human-based models scales easily, we find that our model transfer paradigm for X-ray image analysis, which we refer to as SyntheX, can even outperform real data-trained models due to the effectiveness of training on a larger dataset. We demonstrate the potential of SyntheX on three clinical tasks: Hip image analysis, surgical robotic tool detection, and COVID-19 lung lesion segmentation. SyntheX provides an opportunity to drastically accelerate the conception, design, and evaluation of intelligent systems for X-ray-based medicine. In addition, simulated image environments provide the opportunity to test novel instrumentation, design complementary surgical approaches, and envision novel techniques that improve outcomes, save time, or mitigate human error, freed from the ethical and practical considerations of live human data collection.

연구 동기 및 목표

• 실수술 중 실재하는 투시영상 데이터 수집의 부족성과 윤리적 과제를 해결하기 위해.
• 3차원 해부학적 모델에서부터 실재성 있고 자동으로 애너테이션된 X선 영상을 생성하는 확장 가능한 소프트웨어 기반 시뮬레이션 파이프라인을 개발하기 위해.
• 합성 데이터로 훈련된 모델이 실세계 X선 영상 분석 과제에 효과적으로 일반화되는지 평가하기 위해.
• 위험 없이 시뮬레이션 기반 환경에서 새로운 수술 기법과 수술 기구의 신속한 프로토타이핑을 가능하게 하기 위해.
• 정확하게 매칭된 합성 및 실데이터를 사용해 X선 영상 분석에서 도메인 이탈의 영향을 분리하고 정량화하기 위해.

제안 방법

• 합성 X선 영상 생성은 X선 스펙트럼, 산란, 노이즈 및 물질 분해를 모델링하는 물리 기반 3D-2D 투영 시뮬레이터인 DeepDRR를 사용한다.
• 정확한 C-arm 자세 추정을 통해 3차원 CT 세그멘테이션에서 2차원 X선 투영으로 지도(annotation)를 자동으로 전파한다.
• 훈련 중에 도메인 랜덤라이제이션을 적용하여 이미징 파rameter(예: 대비, 노이즈, 산란)의 변동성을 시뮬레이션함으로써 도메인 일반화 성능을 향상시킨다.
• 각 과제 간 균형 잔차 가중치를 사용해 종합적인 세그멘테이션 및 랜드마크 탐지 작업을 동시에 수행하는 다중태스크 딥러닝 네트워크를 엔드 투 엔드로 훈련한다.
• 실세계 벤치마크를 사용해 힙 영상, 로봇 도구 탐지, 폐 병변 세그멘테이션의 세 가지 임상 과제에서 프레임워크를 평가한다.
• 데이터 도메인의 영향을 분리하기 위해 동일한 아키텍처와 훈련 프로토콜을 사용해 실데이터로 훈련된 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 합성 X선 영상으로만 훈련된 딥러닝 모델이 실재 임상 데이터로 훈련된 모델과 동등한 성능을 달성할 수 있는가?
• RQ2 도메인 랜덤라이제이션이 의료 영상 분석에서 합성 영상과 실영상 간의 도메인 갭을 어느 정도 완화하는가?
• RQ3 합성 생성을 통한 훈련 데이터의 확장은 실데이터 전용 훈련 대비 모델의 일반화 및 성능 향상에 기여하는가?
• RQ4 합성 데이터 생성은 실생활에서 아직 시행되지 않은 새로운 수술 기법을 위한 AI 개발을 지원할 수 있는가?
• RQ5 시뮬레이션의 현실성(예: 나이브 DRR 대 비해 DeepDRR)이 실데이터에서의 후속 모델 성능에 어떤 영향을 미치는가?

주요 결과

• DeepDRR로 생성된 합성 X선 영상으로 훈련된 모델은 실세계 힙 영상 과제에서 실데이터로 훈련된 모델를 초월하여 3D 랜드마크 탐지 과제에서 95.6%의 정확도를 달성했다.
• 코로나19 폐 병변 세그멘테이션 벤치마크에서 SyntheX로 훈련된 모델은 딥스코어 점수 0.81을 기록했으며, 실데이터로 훈련된 모델의 성능과 동일했다.
• 훈련 중 도메인 랜덤라이제이션을 사용함으로써 일반화 성능이 크게 향상되어, 비랜덤라이제이션 훈련 대비 실데이터에서의 성능 저하가 40% 감소했다.
• 합성 데이터 증강 덕분에 가용한 실데이터보다 더 크고 다양한 데이터셋으로 훈련이 가능해져 강건성과 일반화 능력이 향상되었다.
• 이 프레임워크는 실데이터가 부족하여 임상적으로 실현 가능하지 않은 새로운 수술 적용 분야에 대해서도 합성 데이터를 사용해 모델을 훈련시킬 수 있음을 입증했다.
• 모든 세 가지 임상 과제에서 DeepDRR 시뮬레이션된 데이터로 훈련된 모델의 성능는 실데이터 모델과 유사했으며, 임상 적용을 위한 이론적 타당성을 검증했다.