[논문 리뷰] One-stage Shape Instantiation from a Single 2D Image to 3D Point Cloud

Xiao-Yun Zhou, Zhaoyang Wang외 3명|arXiv (Cornell University)|2019. 07. 24.

Medical Image Segmentation Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 PointOutNet와 Chamfer 거리 손실을 사용하여 단일 2D MRI 영상에서 3D 점군을 직접 예측하는 일단계 딥러닝 프레임워크를 제안한다. 27명의 우심실 환자에서 평균 PC-to-PC 오차 1.72mm를 달성하였으며, 이는 이전의 이단계 PLSR 및 KPLSR 방법과 유사한 정확도를 보이지만, 완전한 자동화와 엔드 투 엔드 추론 능력을 갖춘다.

ABSTRACT

Shape instantiation which predicts the 3D shape of a dynamic target from one or more 2D images is important for real-time intra-operative navigation. Previously, a general shape instantiation framework was proposed with manual image segmentation to generate a 2D Statistical Shape Model (SSM) and with Kernel Partial Least Square Regression (KPLSR) to learn the relationship between the 2D and 3D SSM for 3D shape prediction. In this paper, the two-stage shape instantiation is improved to be one-stage. PointOutNet with 19 convolutional layers and three fully-connected layers is used as the network structure and Chamfer distance is used as the loss function to predict the 3D target point cloud from a single 2D image. With the proposed one-stage shape instantiation algorithm, a spontaneous image-to-point cloud training and inference can be achieved. A dataset from 27 Right Ventricle (RV) subjects, indicating 609 experiments, were used to validate the proposed one-stage shape instantiation algorithm. An average point cloud-to-point cloud (PC-to-PC) error of 1.72mm has been achieved, which is comparable to the PLSR-based (1.42mm) and KPLSR-based (1.31mm) two-stage shape instantiation algorithm.

연구 동기 및 목표

• 실시간 수술 내 내비게이션을 위한 3D 형태 생성에서 수동 세그먼테이션과 이단계 학습의 필요성을 제거하기 위해.
• 중간 통계 모델이 없는 단일 2D 영상에서 3D 점군으로 직접 매핑하는 엔드 투 엔드 딥러닝 파이프라인을 개발하기 위해.
• PLSR 또는 KPLSR에 의존하는 기존의 이단계 방법에 비해 자동화 및 추론 속도를 향상시키기 위해.
• 27명의 우심실 환자로 구성된 임상 데이터셋과 609회의 실험을 통해 방법을 검증하여 최신 기술 수준의 접근 방식과 유사한 정확도를 입증하기 위해.

제안 방법

• 단일 2D 영상에서 3D 점군을 직접 회귀하기 위해 19개의 합성곱 계층과 3개의 완전 연결 계층을 갖는 PointOutNet을 사용한다.
• 예측된 점군과 진짜 점군 간의 평균 최소 거리를 측정하는 Chamfer 거리를 손실 함수로 사용하여 점군 예측을 최적화한다.
• 27명의 우심실 환자 데이터셋을 사용하여 609회의 시간 프레임 실험을 통해 모델을 엔드 투 엔드로 훈련하며, 각 실험은 동기화된 2D MRI와 3D 메시 데이터를 포함한다.
• 일반화 성능을 평가하기 위해 떼어내기 교차검증을 적용하며, Chamfer 손실을 사용함으로써 정점 대응이 필요 없도록 한다.
• 진짜 값으로 3D SSM 기반 메시 표현을 통합하여 시간 프레임 간 일관된 정점 수와 연결성을 보장한다.
• 사전 처리된 데이터셋에 의존하며, 3D 메시는 통계적 형태 모델 프레임워크를 사용하여 정렬되고 매개변수화된다.

실험 결과

연구 질문

• RQ1 수동 세그먼테이션 없이 PLSR 및 KPLSR와 같은 이단계 방법과 유사한 3D 형태 예측 정확도를 달성할 수 있는 일단계 딥러닝 모델이 가능한가?
• RQ2 정점 기반 L1/L2 손실과 비교해 볼 때, Chamfer 거리 손실의 사용이 3D 점군 예측의 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 특히 수축기 말기 및 확장기 말기 시간 프레임에서, 모델의 일반화 능력은 어느 정도인가?
• RQ4 제안된 방법이 최소 침습 수술의 실시간 수술 내 내비게이션에 적합한 완전한 자동화 및 엔드 투 엔드 추론을 가능하게 하는가?
• RQ5 현재 접근 방식의 주요 한계점은 무엇인지, 특히 경계 효과와 손실 함수 제약 조건에 대해 어떻게 평가할 수 있는가?

주요 결과

• 제안된 일단계 방법은 27명의 환자에서 평균 PC-to-PC 오차 1.72mm를 달성하였으며, 이는 이단계 KPLSR 기반 방법(1.31mm)과 PLSR 기반 방법(1.42mm)과 유사한 정확도를 보였다.
• 모델은 모든 심장 주기에서 안정적인 성능을 보였으며, 일반적으로 오차가 1–3mm 이내였지만, 경계 효과로 인해 수축기 말기 및 확장기 말기에서 약간 높은 오차를 보였다.
• Chamfer 거리 손실의 사용은 안정적인 훈련과 수렴을 가능하게 했으며, 반면 정점 기반 L1/L2 손실은 악화된 수렴과 불안정한 예측을 초래했다.
• 수동 세그먼테이션과 하이퍼파라미터 튜닝(예: KPLSR의 커널 폭)이 필요 없어져 완전한 자동화가 가능하고 임상 적용에 적합하다.
• 경계 시간 프레임(예: 수축기 말기 및 확장기 말기)에서는 훈련 데이터 커버리지 부족으로 인해 오차가 높았지만, 실제 응용에서는 전체 데이터 포함으로 이 문제는 해결될 것으로 예상된다.
• 예측 결과에 정점 대응이 없기 때문에 메시 생성을 위한 추가적인 3D 재구성 단계가 필요하며, 이는 정점 대응 기반 방법에 비해 현재의 한계점이다.