[논문 리뷰] Implicit Neural Representation in Medical Imaging: A Comparative Survey

Amirali Molaei, Amirhossein Aminimehr외 5명|arXiv (Cornell University)|2023. 07. 30.

Medical Imaging Techniques and Applications인용 수 6

한 줄 요약

이 종합 검토는 의료 영상 분야에서 암묵적 신경 표현(implicit neural representations, INRs)에 대한 포괄적인 분석을 제공하며, 복원, 분할, 정렬 등의 작업에 응용된 사례를 평가한다. 신경망을 활용해 의료 신호를 연속 함수로 매개변수화함으로써 INRs는 해상도에 영향을 받지 않는 메모리 효율적이고 미분 가능한 표현을 제공하여, 기존 이산적 방법에 비해 불안정한 의료 영상 문제를 다룰 때 더 뛰어난 성능을 발휘한다.

ABSTRACT

Implicit neural representations (INRs) have gained prominence as a powerful paradigm in scene reconstruction and computer graphics, demonstrating remarkable results. By utilizing neural networks to parameterize data through implicit continuous functions, INRs offer several benefits. Recognizing the potential of INRs beyond these domains, this survey aims to provide a comprehensive overview of INR models in the field of medical imaging. In medical settings, numerous challenging and ill-posed problems exist, making INRs an attractive solution. The survey explores the application of INRs in various medical imaging tasks, such as image reconstruction, segmentation, registration, novel view synthesis, and compression. It discusses the advantages and limitations of INRs, highlighting their resolution-agnostic nature, memory efficiency, ability to avoid locality biases, and differentiability, enabling adaptation to different tasks. Furthermore, the survey addresses the challenges and considerations specific to medical imaging data, such as data availability, computational complexity, and dynamic clinical scene analysis. It also identifies future research directions and opportunities, including integration with multi-modal imaging, real-time and interactive systems, and domain adaptation for clinical decision support. To facilitate further exploration and implementation of INRs in medical image analysis, we have provided a compilation of cited studies along with their available open-source implementations on \href{https://github.com/mindflow-institue/Awesome-Implicit-Neural-Representations-in-Medical-imaging}. Finally, we aim to consistently incorporate the most recent and relevant papers regularly.

연구 동기 및 목표

• 재건, 분할, 정렬과 같은 의료 영상 작업에서 암묵적 신경 표현(implicit neural representations, INRs)의 응용을 체계적으로 검토하는 것.
• 의료 데이터의 맥락에서 해상도에 영향을 받지 않는 표현, 메모리 효율성, 그리고 가분성 등의 INRs의 장점을 분석하는 것.
• 계산 복잡성, 데이터 부족, 동적인 시나리오 모델링 등의 측면에서 의료 INR 응용의 주요 과제를 규명하는 것.
• 다중 모odal 영상 통합, 실시간 시스템, 임상 의사결정 지원을 위한 도메인 적응 기술 등의 열린 연구 방향을 부각하는 것.
• 조사된 INR 방법의 오픈소스 구현체를 수집하고 연결하여 재현 가능성과 향후 연구를 지원하는 것.

제안 방법

• 2021~2023년 사이에 출간된 64篇의 연구 논문을 검토하여 의료 영상 작업에서의 INR 응용 추세를 맵핑하는 것.
• 설계(예: SIREN 기반, NeRF 기반) 및 응용 분야(예: 3D 복원, 새로운 시야 합성)에 따라 INR 아키텍처를 분류하는 것.
• 특히 고주파 의료 신호 표현에서의 스펙트럼 편향을 완화하기 위해 푸리에 특징 인코딩의 사용을 분석하는 것.
• 이미지 정렬과 같은 작업에서 정규화 기반 최적화(예: 야코비안, 굽힘 에너지)를 가능하게 하는 연속적이고 가분성 있는 함수의 역할을 평가하는 것.
• 메모리 사용량과 복원 정밀도 측면에서 기존 이산적 표현(예: 복셀 격자, 점군)과의 성능 비교.
• 기고된 논문들에서 인용된 INR 방법의 오픈소스 구현체를 분류하고 요약하여 재현 가능성과 도구 개발을 지원하는 것.

Figure 1: Chart (a) visually displays the relative proportions of published papers according to their application, and chart (b) illustrates the count of published papers based on INR design in medical tasks during different time periods (with ”H” indicating the first or second half of the year). Th

실험 결과

연구 질문

• RQ1 암묵적 신경 표현(INRs)은 기존의 이산적 표현에 비해 의료 영상 복원 성능을 어떻게 향상시키는가?
• RQ2 의료 영상 작업에서 INR 성능을 향상시키는 데 기여하는 주요 아키텍처 선택 사항(예: 활성화 함수, 입력 인코딩)은 무엇인가?
• RQ3 임상 환경에서 제한된 데이터, 저선량 스캔, 동적인 해부학적 운동 등의 과제를 INRs는 어떻게 해결하는가?
• RQ4 실시간 또는 임상 의사결정 지원 시스템에 INRs를 구현하는 데 있어 주요 계산적 및 실용적 장벽은 무엇인가?
• RQ5 INRs는 다중 모달 영상, 영상 기반 복원, 상호작용 가능한 의료 시각화를 지원하기 위해 어떻게 확장될 수 있는가?

주요 결과

• INRs는 해상도에 영향을 받지 않는 신호 표현을 가능하게 하여, 메모리 비용 증가 없이도 임의의 해상도에서 고품질의 복원을 가능하게 한다.
• 푸리에 특징과 SIREN 활성화 함수의 사용은 스펙트럼 편향을 크게 감소시켜 3D 의료 스캔에서 미세한 해부학적 세부 정보를 복원하는 데 성능을 향상시킨다.
• 복셀 기반 또는 격자 기반 표현에 비해 INRs는 더 뛰어난 메모리 효율성을 보이며, 복잡도에 따라 스케일링되며 해상도에 따라 증가하지 않는다.
• 가분성 있는 INRs는 이미지 정렬과 같은 작업에서 고도의 정규화를 지원하여 초탄성성 및 굽힘 에너지와 같은 물리적 제약 조건을 통합할 수 있도록 한다.
• 장점이 있음에도 불구하고, 3D 의료 볼륨에 대한 INRs 학습은 여전히 계산 비용이 매우 높으며, 모델 깊이와 입력 차원이 증가할수록 학습 시간이 크게 증가한다.
• 의료 영상 분야에서 INR 방법의 오픈소스 구현체가 점점 더 많이 공개되고 있어 재현 가능성 향상과 분야 내 연구 가속화에 기여하고 있다.

Figure 2: The figure illustrates various modifications to alleviate the spectral bias problem in INRs, provides an overview of their underlying principles, and introduces NeRF as an additional background method, as discussed in section 2 .