[논문 리뷰] Multi-modality imaging with structure-promoting regularisers

Matthias J. Ehrhardt|arXiv (Cornell University)|2020. 07. 22.

Photoacoustic and Ultrasonic Imaging참고 문헌 130인용 수 6

한 줄 요약

이 논문은 다중 모odal 영상에서 구조 유사성—특히 에지 위치와 방향—을 활용하여 재구성 품질을 햖스키는 구조 유도 정규화 기법을 제안한다. 에지 기반 유사성 측정을 포함하는 볼록 변분 정규화를 통해, 특히 PET-MR 및 다중 대trast MRI에서 강력하고 실현 가능한 공동 재구성을 가능하게 하며, 시뮬레이션 연구에서 성공을 거두었다.

ABSTRACT

Imaging with multiple modalities or multiple channels is becoming increasingly important for our modern society. A key tool for understanding and early diagnosis of cancer and dementia is PET-MR, a combined positron emission tomography and magnetic resonance imaging scanner which can simultaneously acquire functional and anatomical data. Similarly in remote sensing, while hyperspectral sensors may allow to characterise and distinguish materials, digital cameras offer high spatial resolution to delineate objects. In both of these examples, the imaging modalities can be considered individually or jointly. In this chapter we discuss mathematical approaches which allow to combine information from several imaging modalities so that multi-modality imaging can be more than just the sum of its components.

연구 동기 및 목표

• 다양한 모달 간의 구조 유사성을 활용하여 다중 모달 영상 재구성의 도전 과제를 해결한다.
• 공통 해부학적 구조를 공유하는 두 번째 영상 모달리티에서의 보조 정보를 통합하여 단일 모달리티 재구성의 한계를 극복한다.
• 다중 이미지 간의 구조 일致성을 촉진하는 수학적으로 타당한 볼록 정규화 프레임워크를 개발한다.
• PET-MR, 다중 대비 MRI, 원격 감지와 같은 분야에서 더 정확하고 신뢰할 수 있는 이미지 재구성을 가능하게 한다.
• 일련의 단일 측면 접근 방식을 넘어서 상호 보완적인 다중 모달 영상의 상태를 향상시키기 위해 기초를 마련한다.

제안 방법

• 미지의 이미지 $ u $ 를 데이터 $ f $ 와 전방 모델 $ K $ 를 사용하여 재구성하는 변분 역문제를 수립한다.
• 주요 이미지 $ u $ 와 보조 정보 $ v $ 간의 에지 위치와 방향 유사성을 강제하는 구조 유도 정규화 기법을 도입한다.
• 에지 집합과 평행 등고선을 정의하여 기하학적 특징을 유지하는 볼록 정규화를 가능하게 한다.
• 프리멀-듀얼 하이브리드 그래디언트(PDHG) 방법을 사용하여 결과 정규화 문제를 효율적으로 해결하는 볼록 최적화를 수행한다.
• 계산적으로 실현 가능한 동시에 구조적 충실도를 유지하는 부드럽거나 비부드러운 정규화 기법을 구성한다.
• 해부학적 또는 구조적 일치가 기대되는 다중 모달 시나리오, 예를 들어 PET-MR, 다중 대비 MRI, 고스펙트럼 영상에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다양한 영상 모달 간의 구조 유사성을 수학적으로 모델링하여 이미지 재구성 품질을 향상시킬 수 있는가?
• RQ2 완벽한 정렬을 가정하지 않고도 에지 위치와 방향 일치성을 효과적으로 촉진하는 볼록 정규화 전략은 무엇인가?
• RQ3 구조 유도 정규화 기법이 단일 모달리티 방법에 비해 다중 모달 영상 재구성 품질을 얼마나 향상시킬 수 있는가?
• RQ4 현재의 단일 측면 재구성 접근 방식의 한계는 무엇이며, 공동 재구성 전략을 계산적으로 실현 가능하고 수학적으로 타당하게 만들 수 있는가?
• RQ5 정확한 구조 일치를 유지하는 변분 프레임워크 내에서 모달 간의 정렬 오차는 어떻게 다룰 수 있는가?

주요 결과

• 제안된 구조 유도 정규화 기법은 PET-MR 및 다중 대비 MRI와 같이 모달 간 공통 해부학적 구조를 활용하여 이미지 재구성 품질을 성공적으로 향상시켰다.
• PDHG를 통한 효율적인 해법을 가능하게 하여, 다중 모달 정규화의 복잡성에도 불구하고 계산적으로 실현 가능한 해법을 확보했다.
• 시뮬레이션 연구에서 노이즈가 있거나 데이터가 제한된 조건에서도 에지와 구조적 세부 정보를 잘 유지하는 것으로 입증되었다.
• 측면 정보를 활용하여 잡음 없이 해상도와 대비를 향상시키면서도 아티팩트를 유발하지 않는 점에서, 기존의 표준 단일 모달리티 재구성 기법보다 뛰어난 성능을 보였다.
• RGB 색채 영상, 고스펙트럼 영상, 스펙트럼 CT 등 다양한 모달리티로 일반화 가능했으며, 여기서 구조 일치성이 핵심 특징이 된다.
• 강력한 이론적 및 경험적 성능에도 불구하고, 정렬 오차 처리 및 강력한 공동 재구성의 실현에 도전 과제가 남아 있어 실용적 구현에서 열린 문제를 드러냈다.