[논문 리뷰] NISF: Neural Implicit Segmentation Functions

Nil Stolt-Ansó, Julian McGinnis외 3명|arXiv (Cornell University)|2023. 09. 15.

Medical Imaging and AnalysisEngineering인용 수 3

한 줄 요약

이 논문은 좌표 공간 내에서 해부학적 구조를 연속 함수로 모델링하는 새로운 딥러닝 프레임워크인 신경 은닉 분할 함수(Neural Implicit Segmentation Functions, NISF)를 소개한다. 이는 희소하거나 부분적인 의료 영상에서 고해상도, 보간 인식 기반 분할을 가능하게 한다. 방법은 3D+t 심장 단축축 MRI 데이터에서 평균 Dice 점수 0.87±0.045를 기록하며, 후처리 없이도 예측되지 않은 영상 평면과 해상도로의 일반화 능력이 뛰어나다.

ABSTRACT

Segmentation of anatomical shapes from medical images has taken an important role in the automation of clinical measurements. While typical deep-learning segmentation approaches are performed on discrete voxels, the underlying objects being analysed exist in a real-valued continuous space. Approaches that rely on convolutional neural networks (CNNs) are limited to grid-like inputs and not easily applicable to sparse or partial measurements. We propose a novel family of image segmentation models that tackle many of CNNs' shortcomings: Neural Implicit Segmentation Functions (NISF). Our framework takes inspiration from the field of neural implicit functions where a network learns a mapping from a real-valued coordinate-space to a shape representation. NISFs have the ability to segment anatomical shapes in high-dimensional continuous spaces. Training is not limited to voxelized grids, and covers applications with sparse and partial data. Interpolation between observations is learnt naturally in the training procedure and requires no post-processing. Furthermore, NISFs allow the leveraging of learnt shape priors to make predictions for regions outside of the original image plane. We go on to show the framework achieves dice scores of 0.87 $\pm$ 0.045 on a (3D+t) short-axis cardiac segmentation task using the UK Biobank dataset. We also provide a qualitative analysis on our frameworks ability to perform segmentation and image interpolation on unseen regions of an image volume at arbitrary resolutions.

연구 동기 및 목표

• 컨volutional 신경망(CNN)이 희소하거나 격자 기반이 아니며 해상도가 변하는 의료 영상 데이터를 처리하는 데 한계가 있음을 해결하기 위해.
• 후처리 히우리스틱 없이도 부드럽고 고해상도의 분할을 가능하게 하기 위해.
• 원본 영상 볼륨에 존재하지 않는 영역으로도 일반화 가능한 개인별 형태 우선 정보를 학습하기 위해.
• 제한된 2D/3D 촬영 자료로부터 보간 및 재구성된 영상 평면을 지원하기 위해.

제안 방법

• NISF는 좌표 벡터 $ c \in \mathbb{R}^N $ 와 개인별 잠재 코드 $ h \in \mathbb{R}^d $ 를 입력으로 받아 영상 강도 및 분할 예측을 출력하는 신경망을 사용한다.
• 모델은 유도 복원 아키텍처를 사용하여 잠재 코드 $ h $ 가 추론 도중 최적화되어 관측된 영상 데이터를 재구성하도록 훈련된다.
• 모집단의 여러 환자에 대해 잠재 코드 $ h $ 에 대한 학습 가능한 우선 정보를 훈련시켜, 예측되지 않은 환자 및 영역으로의 일반화를 가능하게 한다.
• 모델는 연속 공간 내 임의의 좌표에서 네트워크를 평가함으로써 복셀 격자 제약 없이 임의의 해상도 샘플링을 지원한다.
• 추론 과정에서는 영상 재구성 손실을 사용하여 잠재 코드 $ h $ 를 최적화하며, 과적합을 방지하기 위해 조기 정지 기법을 적용한다.
• 이 방법은 예측되지 않은 영상 평면(예: 단축축 MRI 자료로부터 장축 영상)에서의 0-샷 분할 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 은닉 함수는 희소하거나 부분적인 의료 영상 자료로부터 고해상도, 연속적 분할을 학습할 수 있는가?
• RQ2 모델은 영상 볼륨의 외부 평면 또는 예측되지 않은 영역으로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 학습된 개인별 잠재 우선 정보는 해당 영역에 진짜 레이블이 없더라도 정확한 분할 및 영상 재구성에 기여하는가?
• RQ4 은닉 표현 방식이 매끄러운 물체 표면을 얻기 위해 후처리를 제거할 수 있는가?
• RQ5 저해상도 영역, 예를 들어 기저 슬라이스에서의 우심실과 같은 도전적인 해부학적 영역에서 모델의 성능은 어떠한가?

주요 결과

• NISF 프레임워크는 3D+t 단축축 심장 MRI 분할 작업에서 100명의 예측되지 않은 환자로 구성된 테스트 세트에서 평균 Dice 점수 0.87±0.045를 기록했다.
• 잠재 코드 최적화에 적합한 추론 단계 수는 672로 확인되었으며, 이는 재구성과 분할 성능 사이의 균형을 맞추는 데 최적임을 보여주었다.
• 정성적 결과로는, 원본 데이터에 존재하지 않는 영역을 포함한 보류된 기저 슬라이스에 대해 모델이 타당하고 매끄러운 분할을 성공적으로 생성하는 것으로 나타났다.
• 학습 또는 추론 도중 진짜 장축 영상이 사용되지 않았음에도 불구하고, 모델은 단축축 MRI 자료에서 장축 영상을 정확히 재구성하고 분할하는 데 성공했다.
• 추론 도중 조기 정지는 과적합을 방지하기 위해 필수적이며, 분할 성능가 최고에 도달하는 데는 재구성 손실이 완전히 수렴하기 이르게 이루어진다.
• 학습된 개인별 우선 정보는 추론 시 분할 및 영상 재구성 성능을 크게 향상시켜, 집단 수준의 형태 우선 정보의 가치를 입증했다.