[논문 리뷰] Y-Net: A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo

Hengrong Lan, Daohuai Jiang외 2명|arXiv (Cornell University)|2019. 08. 02.

Photoacoustic and Ultrasonic Imaging참고 문헌 46인용 수 12

한 줄 요약

이 논문은 원시 광음향 데이터와 빔포밍 이미지를 U-Net 유사 아키텍처를 사용한 두 개의 인코더와 하나의 디코더를 갖춘 하이브리드 딥 러닝 프레임워크인 Y-Net을 제안한다. 이는 제한된 시야 조건에서의 광음향 영상 복원에서 잡음과 기하학적 왜곡을 크게 감소시킨다. 이 방법은 실체 실험과 생체 내 실험 모두에서 전통적이고 딥 러닝 기반 복원 기법들보다 뛰어난 영상 품질을 달성한다.

ABSTRACT

Photoacoustic imaging (PAI) is an emerging non-invasive imaging modality combining the advantages of deep ultrasound penetration and high optical contrast. Image reconstruction is an essential topic in PAI, which is unfortunately an ill-posed problem due to the complex and unknown optical/acoustic parameters in tissue. Conventional algorithms used in PAI (e.g., delay-and-sum) provide a fast solution while many artifacts remain, especially for linear array probe with limited-view issue. Convolutional neural network (CNN) has shown state-of-the-art results in computer vision, and more and more work based on CNN has been studied in medical image processing recently. In this paper, we present a non-iterative scheme filling the gap between existing direct-processing and post-processing methods, and propose a new framework Y-Net: a CNN architecture to reconstruct the PA image by optimizing both raw data and beamformed images once. The network connected two encoders with one decoder path, which optimally utilizes more information from raw data and beamformed image. The results of the test set showed good performance compared with conventional reconstruction algorithms and other deep learning methods. Our method is also validated with experiments both in-vitro and in vivo, which still performs better than other existing methods. The proposed Y-Net architecture also has high potential in medical image reconstruction for other imaging modalities beyond PAI.

연구 동기 및 목표

• 알 수 없는 조직의 광학적 및 음향적 특성으로 인해 광음향 영상 복원 문제가 부족하게 정의되는 문제를 해결하기 위해.
• 제한된 시야 조건에서 잡음이 발생하는 전통적 빔포밍 방법(예: 지연 및 합산)의 한계를 극복하기 위해.
• 광음향 영상에서 직접 처리와 후처리 딥 러닝 방법 사이의 격차를 메우기 위해.
• 원시 데이터와 빔포밍 이미지를 동시에 활용하여 개선된 복원을 위한 비반복적이고 종단 간(end-to-end) 학습 가능한 프레임워크를 개발하기 위해.
• 실제 실체 실험과 생체 내 실험 조건에서의 방법의 강건성과 성능을 검증하기 위해.

제안 방법

• Y-Net은 원시 광음향 데이터와 빔포밍 이미지를 별도로 처리하기 위해 두 개의 병렬 인코더를 갖춘 U-Net 유사 아키텍처를 사용한다.
• 두 개의 인코더 스트림은 봉합 레이어(bottleneck layer)에서 융합되어 양식의 특징을 함께 학습할 수 있도록 한다.
• 공유된 디코더 경로는 융합된 특징에서 최종 영상을 재구성하며, 양식의 입력 스트림을 동시에 최적화한다.
• 예측 영상와 진짜 영상 사이의 차이를 비교하는 지도 학습 손실 함수를 사용하여 네트워크를 종단 간(end-to-end)으로 학습시킨다.
• 반복적인 보정 없이도 신속한 추론이 가능한 비반복적 설계를 하여 빠른 추론을 가능하게 한다.
• 원시 데이터(고해상도, 낮은 신호 대 잡음비)와 빔포밍 이미지(높은 신호 대 잡음비, 낮은 해상도) 간 상보적인 정보를 활용하여 복원 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 원시 데이터와 빔포밍 이미지를 동시에 처리하는 딥 러닝 프레임워크가 광음향 영상 복원에서 기존의 빔포밍 기법과 독립적인 딥 러닝 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 원시 데이터와 빔포밍 이미지라는 두 가지 다른 입력 모odal리티의 융합이 제한된 시야 광음향 영상 복원에서 영상 품질을 어떻게 향상시키는가?
• RQ3 제안된 Y-Net 아키텍처가 기존 방법들보다 생체 내 생물 조직에서 뛰어난 성능을 유지하는가?
• RQ4 Y-Net의 비반복적 설계가 영상 품질 향상과 함께 복원 속도를 얼마나 유지하는가?
• RQ5 Y-Net 프레임워크는 광음향 영상 이외의 다른 의료 영상 모odal리티로 일반화될 수 있는가?

주요 결과

• Y-Net은 기존의 지연 및 합산 빔포밍 방법에 비해 제한된 시야 선형 어레이 프로브를 사용한 광음향 영상 복원에서 잡음과 기하학적 왜곡을 크게 감소시켰다.
• 기준 딥 러닝 기법과 전통적 알고리즘보다 테스트 세트에서 더 높은 구조적 유사도(SSI)와 더 낮은 평균 제곱 오차(MSE)를 달성했다.
• 동물 모델을 대상으로 한 생체 내 실험에서, Y-Net은 경쟁 기법들보다 더 선명한 미세혈관 및 조직 구조의 시각화를 제공했다.
• 다양한 조직 유형과 영상 조건에서 뛰어난 성능을 보여, 일반화 능력을 확인했다.
• 비반복적 설계 덕분에 빠른 추론이 가능하여 실시간 임상 적용에 적합한 성능을 보였다.
• 제거 실험(ablation study)를 통해 이중 인코더 설계와 특징 융합이 단일 입력 기반 기준보다 성능 향상에 기여한다는 점을 확인했다.