[논문 리뷰] Benchmarking off-the-shelf statistical shape modeling tools in clinical applications

Anupama Goparaju, Alexandre Bône외 9명|arXiv (Cornell University)|2020. 09. 06.

Morphological variations and asymmetry참고 문헌 87인용 수 47

한 줄 요약

이 논문은 외재적 검증 프레임워크를 사용하여 임상 관련성에 대한 평가를 위해 세 가지 오픈 소스 통계적 형태 모델링 도구(ShapeWorks, Deformetrica, SPHARM-PDM)를 벤치마크합니다.

ABSTRACT

Statistical shape modeling (SSM) is widely used in biology and medicine as a new generation of morphometric approaches for the quantitative analysis of anatomical shapes. Technological advancements of in vivo imaging have led to the development of open-source computational tools that automate the modeling of anatomical shapes and their population-level variability. However, little work has been done on the evaluation and validation of such tools in clinical applications that rely on morphometric quantifications (e.g., implant design and lesion screening). Here, we systematically assess the outcome of widely used, state-of-the-art SSM tools, namely ShapeWorks, Deformetrica, and SPHARM-PDM. We use both quantitative and qualitative metrics to evaluate shape models from different tools. We propose validation frameworks for anatomical landmark/measurement inference and lesion screening. We also present a lesion screening method to objectively characterize subtle abnormal shape changes with respect to learned population-level statistics of controls. Results demonstrate that SSM tools display different levels of consistencies, where ShapeWorks and Deformetrica models are more consistent compared to models from SPHARM-PDM due to the groupwise approach of estimating surface correspondences. Furthermore, ShapeWorks and Deformetrica shape models are found to capture clinically relevant population-level variability compared to SPHARM-PDM models.

연구 동기 및 목표

• 임상 맥락에서 SSM 도구의 평가 및 검증을 촉진한다.
• ShapeWorks, Deformetrica, SPHARM-PDM의 일관성과 집단 수준 변이성 포착을 비교한다.
• 해부학적 랜드마크 추론 및 병변 선별을 위한 검증 프레임워크를 제안한다.
• 집단 수준 통계가 객관적 임상 의사결정에 어떻게 정보를 제공할 수 있는지 보여준다.

제안 방법

• ShapeWorks, Deformetrica, SPHARM-PDM의 모델링 접근법을 검토하고 요약한다.
• ground-truth 대응에 의존하지 않는 외재적 평가 및 검증 프레임워크를 개발한다.
• 각 도구에 대해 데이터 전처리, 중요도 샘플링을 활용한 데이터 분할, 그리고 하이퍼파라미터 조정을 사용한다.
• 압축도, 일반화, 특이성 지표를 사용하여 형태 모델을 평가한다.
• 변형 모드 및 군집 분석을 통한 질적 평가를 수행하여 임상적으로 관련된 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 오픈 소스 SSM 도구가 집단 간 일관된 대응을 생성하는 데 어떤 차이가 있는가?
• RQ2 어떤 도구가 임상적으로 관련된 집단 수준의 변이성을 더 잘 캡처하는가?
• RQ3 ground-truth 대응이 없을 때 외재적 검증 프레임워크가 형태 모델의 임상적 유용성을 평가할 수 있는가?
• RQ4 SSM 기반 랜드마크 추론 및 병변 선별이 임상 의사결정에 객관적인 지침을 제공할 수 있는가?
• RQ5 도구 특유의 가정(그룹 단위 대 쌍별)이 형태 모델링 결과에 어떤 영향을 미치는가?

주요 결과

• ShapeWorks와 Deformetrica는 그룹별 대응 추정으로 SPHARM-PDM보다 일관성이 더 높게 나타난다.
• ShapeWorks와 Deformetrica는 SPHARM-PDM보다 집단 수준의 변이성을 더 효과적으로 포착하는 경향이 있다.
• 제안된 검증 프레임워크는 ground-truth 대응이 없더라도 해부학적 랜드마크 추론과 병변 선별을 평가할 수 있게 한다.
• 외재적 평가를 통해 도구 간 압축도, 일반화, 특이성에서 차이가 나타난다.
• 변형 모드 및 군집 분석의 질적 분석은 형태 집단에서 임상적으로 해석 가능한 패턴을 드러낸다.