[논문 리뷰] NeRP: Implicit Neural Representation Learning with Prior Embedding for Sparsely Sampled Image Reconstruction

Liyue Shen, John M. Pauly외 1명|arXiv (Cornell University)|2021. 08. 24.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

NeRP는 측정 물리법칙과 사전 이미지를 활용하여 희박하게 측정된 데이터로부터 이미지를 복원하기 위한 데이터 효율적인 암시적 신경망 표현 방법을 제안한다. 이로 인해 대규모 학습 데이터가 필요 없으며, CT 및 MRI에서 최신 기술 수준의 복원 품질을 달성한다. 미세한 종양 변화에 대한 강력한 민감도를 보이며, 미세조정 없이 다양한 영상 모odalities 간에 일반화됨을 보여준다.

ABSTRACT

Image reconstruction is an inverse problem that solves for a computational image based on sampled sensor measurement. Sparsely sampled image reconstruction poses addition challenges due to limited measurements. In this work, we propose an implicit Neural Representation learning methodology with Prior embedding (NeRP) to reconstruct a computational image from sparsely sampled measurements. The method differs fundamentally from previous deep learning-based image reconstruction approaches in that NeRP exploits the internal information in an image prior, and the physics of the sparsely sampled measurements to produce a representation of the unknown subject. No large-scale data is required to train the NeRP except for a prior image and sparsely sampled measurements. In addition, we demonstrate that NeRP is a general methodology that generalizes to different imaging modalities such as CT and MRI. We also show that NeRP can robustly capture the subtle yet significant image changes required for assessing tumor progression.

연구 동기 및 목표

• 의료 영상에서 제한적이고 희박하게 샘플링된 측정값으로부터 이미지 복원 문제를 해결하기 위해.
• 대규모 학습 데이터셋이 필요 없이, 단일 사전 이미지와 측정 물리법칙에 의존하는 방법을 개발하기 위해.
• 재학습 없이 CT 및 MRI와 같은 다양한 영상 모달리티 간에 일반화하기 위해.
• 희박한 데이터로부터 종양 진행과 같은 미세한 해부학적 변화를 정확하게 탐지하기 위해.
• 사전 지식과 측정 제약 조건을 통합하는 미분 가능하고 암시적인 신경망 표현을 제공하기 위해.

제안 방법

• NeRP는 공간 좌표를 픽셀 강도로 매핑하는 다층 퍼셉트론(MLP)으로 매aram터화된 암시적 신경망 표현을 통해 이미지 복원 문제를 수식화한다.
• 참고 사전 이미지의 구조적 및 텍스처 정보를 MLP의 잠재 공간에 인코딩하는 사전 임베딩 모듈을 통합한다.
• 의료 영상 물리법칙(예: CT의 라돈 변환, MRI의 푸리에 샘플링)을 시뮬레이션하는 미분 가능한 전방 모델을 통해 희박한 측정값과의 일致성을 강제한다.
• 데이터 일치성과 사전 기반 정규화 항을 포함하는 손실를 최소화함으로써 엔드 투 엔드 최적화를 수행한다.
• 학습 중에 사전 임베딩를 조정하여 저신호 영역에서 노이즈를 억제하면서도 세밀한 세부 사항을 유지한다.
• 이 프레임워크는 특정 영상 모달리티에 종속되지 않으며, CT, MRI 및 기타 희박한 샘플링 시나리오에 직접 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 이미지 복원 방법이 대규모 애너테이션 학습 데이터 없이도 높은 정밀도를 달성할 수 있는가?
• RQ2 단일 사전 이미지가 다양한 모달리티 간에 희박한 측정값으로부터의 복원을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 종양 진행과 같은 임상 평가에 중요한 미세한 해부학적 변화를 보존할 수 있는가?
• RQ4 물리적 측정 모델의 통합이 복원의 강건성과 정확도를 어떻게 향상시키는가?
• RQ5 암시적 신경망 표현이 다양한 영상 시나리오 간에 얼마나 일반화되는가?

주요 결과

• NeRP는 CT 및 MRI 데이터셋에서 기존의 학습 기반 및 전통적 방법보다 PSNR 및 SSIM 측정치에서 최신 기술 수준의 복원 품질을 달성한다.
• 극도로 낮은 샘플링 비율(예: 10%)에서도 고해상도 이미지를 복원하며, 세밀한 구조와 윤곽선을 유지한다.
• 임상 데이터셋에서 방사선 전문의가 확인한 기준값을 바탕으로, 종양 진행 평가에 필요한 미세한 영상 변화를 성공적으로 포착한다.
• 재학습 없이도 모달리티 간에 일반화되며, CT에서 MRI로, 또는 그 반대로의 이식성이 입증된다.
• 절단 실험을 통해 사전 임베딩과 물리 기반 측정 일치성이 성능 향상에 필수적임을 확인하였으며, 각 구성 요소가 복원 정확도에 크게 기여한다.
• 노이즈와 잡음이 있는 희박한 측정값에 대해 강건하며, 다양한 샘플링 패턴에서도 안정적인 성능을 유지한다.