[논문 리뷰] Limited-view Photoacoustic Imaging Reconstruction With Dual Domain Inputs Under Mutual Information Constraint

Jiadong Zhang, Hengrong Lan외 4명|arXiv (Cornell University)|2020. 11. 12.

Photoacoustic and Ultrasonic Imaging참고 문헌 14인용 수 4

한 줄 요약

이 논문은 한정된 시야 조건에서의 재구성 품질을 향상시키기 위해 시간 도메인(DAS) 및 주파수 도메인(k-space) 광음향 영상에서 모두 정보를 활용하는 정보 공유 블록(ISB)을 갖춘 이중 도메인 U-Net인 DuDoUnet을 제안한다. 사전 훈련된 보조 네트워크를 통한 상호 정보 정규화를 통해 사전 지식 학습을 강화함으로써 임상 데이터베이스에서 SSIM 93.56% 및 PSNR 20.89 dB를 달성하였으며, 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Based on photoacoustic effect, photoacoustic tomography is developing very fast in recent years, and becoming an important imaging tool for both preclinical and clinical studies. With enough ultrasound transducers placed around the biological tissue, PAT can provide both deep penetration and high image contrast by hybrid usage of light and sound. However, considering space and measurement environmental limitations, transducers are always placed in a limited-angle way, which means that the other side without transducer coverage suffers severe information loss. With conventional image reconstruction algorithms, the limited-view tissue induces artifacts and information loss, which may cause doctors misdiagnosis or missed diagnosis. In order to solve limited-view PA imaging reconstruction problem, we propose to use both time domain and frequency domain reconstruction algorithms to get delay-and-sum (DAS) image inputs and k-space image inputs. These dual domain images share nearly same texture information but different artifact information, which can teach network how to distinguish these two kinds of information at input level. In this paper, we propose Dual Domain Unet (DuDoUnet) with specially designed Information Sharing Block (ISB), which can further share two domains' information and distinguish artifacts. Besides, we use mutual information (MI) with an auxiliary network, whose inputs and outputs are both ground truth, to compensate prior knowledge of limited-view PA inputs. The proposed method is verified with a public clinical database, and shows superior results with SSIM = 93.5622% and PSNR = 20.8859.

연구 동기 및 목표

• 불완전한 수신기 커버리지로 인한 심각한 영상 아티팩트 및 정보 손실 문제를 해결하기 위해.
• 시간 도메인(DAS) 및 주파수 도메인(k-space) 영상 입력 간 상호보완적 정보를 활용하여 재구성 품질을 향상시키기 위해.
• 이중 도메인 특징 융합을 통해 입력 수준에서 무늬와 아티팩트를 구분할 수 있도록 네트워크를 설계하여 딥 러닝 기반 재구성 품질을 향상시키기 위해.
• 한정된 시야로 인한 정보 손실을 보완하기 위해 상호 정보를 보조 제약 조건으로 도입하여 사전 지식 학습을 향상시키기 위해.

제안 방법

• 제안된 DuDoUnet은 DAS 및 k-space 영상 둘 다를 동시에 처리하는 정보 공유 블록(ISB)을 사용하여, 두 도메인에서 저수준 원시 특징과 고수준 특징을 추출한다.
• ISB는 FFT 및 IFFT를 활용하여 DAS 및 k-space 입력을 변환함으로써 도메인 간 특징 공유를 가능하게 하면서도 도메인 고유의 특징을 유지한다.
• 네트워크는 병합 및 합성곱 레이어를 통해 두 도메인의 다중 수준 특징을 융합하여 무늬와 아티팩트의 구분 능력을 향상시킨다.
• 변동형 상호 정보 제약 조건은 사전 훈련된 보조 인코더-디코더 네트워크를 통해 적용되며, 정답 데이터를 입력 및 출력으로 사용하여 압축되고 정보가 풍부한 잠재 표현을 학습한다.
• 상호 정보 손실은 학습 가능한 평균과 분산을 갖는 조건부 가우시안 분포를 사용하여 수식화되며, 시그모이드 기반 분산 추정기로 훈련을 안정화시킨다.
• 전반적인 훈련 목표는 재구성 손실(MSE)과 상호 정보 정규화를 조합하여 정확성과 사전 지식 학습을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 시간 도메인과 주파수 도메인의 이중 도메인 입력이 아티팩트 및 무늬 정보를 상호보완적으로 제공함으로써 한정된 시야 광음향 영상 재구성 품질을 향상시킬 수 있는가?
• RQ2 DAS 및 k-space 영상을 처리할 때 정보 공유 블록(ISB)이 특징 융합 및 아티팩트 구분 능력을 어떻게 향상시키는가?
• RQ3 상호 정보 정규화가 딥 러닝 기반 PAT 재구성에서 사전 지식 학습을 얼마나 향상시키는가?
• RQ4 제안된 방법이 기존의 U-Net 및 이중 인코더 아키텍처보다 한정된 시야 조건에서 미세한 혈관 구조를 재구성하는 데에서 우월한 성능을 보이는가?
• RQ5 상호 정보 제약 조건이 낮은 데이터 또는 한정된 시야 영상 시나리오에서 훈련의 안정성과 일반화 능력을 향상시키는가?

주요 결과

• 상호 정보 제약 조건을 적용한 제안된 DuDoUnet은 구조적 유사도 지수(SSIM) 93.5622%를 달성하여 모든 기준 모델을 뛰어넘었다.
• 이 방법은 피크 신호 대 노이즈 비율(PSNR) 20.8859 dB를 기록하여 다른 모델에 비해 뛰어난 재구성 정확도를 보였다.
• DuDoUnet+MI는 Unet#1(SSIM: 90.99, PSNR: 19.40), Unet#2(SSIM: 91.46, PSNR: 19.77), Ynet(SSIM: 87.25, PSNR: 17.82), DEUnet(SSIM: 90.65, PSNR: 19.30)를 모두 능가했다.
• 정성적 결과에서는 DuDoUnet+MI가 미세한 혈관 구조를 성공적으로 복원하고 구조적 연속성을 유지하는 데에 효과적이었으며, 다른 방법들은 파편화되거나 부적절한 구조를 생성했다.
• 제거 분석 결과 이중 도메인 입력과 상호 정보 정규화 모두 성능 향상에 기여했음을 확인했다.
• ISB에서 FFT 및 IFFT의 사용은 도메인 고유의 연산 없이도 효과적인 도메인 간 특징 학습이 가능하게 하였으며, 모델 복잡도 증가 없이도 성능 향상을 이끌어냈다.