[논문 리뷰] Photoacoustic Microscopy with Sparse Data Enabled by Convolutional Neural Networks for Fast Imaging

Jiasheng Zhou, Da He외 4명|arXiv (Cornell University)|2020. 06. 08.

Photoacoustic and Ultrasonic Imaging참고 문헌 32인용 수 4

한 줄 요약

이 논문은 희박한 데이터에서 고품질의 광음향 현미경(이하 PAM) 영상을 복원하기 위한 컨volution 신경망(CNN) 기반 방법을 제안한다. 이는 스캔 포인트를 줄여 더 빠른 영상 촬영을 가능하게 한다. 잔차 블록, 압축-흥장 모듈 및 인지 손실 함수를 활용함으로써, 모델은 1/4 또는 1/16로 샘플링된 PAM 영상을 거의 전 해상도 수준의 품질로 복원한다. 잎의 혈관과 생체 내 마우스 귀 및 눈 데이터에서 기존 방법에 비해 정량적 지표와 시각적 정확도 모두에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Photoacoustic microscopy (PAM) has been a promising biomedical imaging technology in recent years. However, the point-by-point scanning mechanism results in low-speed imaging, which limits the application of PAM. Reducing sampling density can naturally shorten image acquisition time, which is at the cost of image quality. In this work, we propose a method using convolutional neural networks (CNNs) to improve the quality of sparse PAM images, thereby speeding up image acquisition while keeping good image quality. The CNN model utilizes both squeeze-and-excitation blocks and residual blocks to achieve the enhancement, which is a mapping from a 1/4 or 1/16 low-sampling sparse PAM image to a latent fully-sampled image. The perceptual loss function is applied to keep the fidelity of images. The model is mainly trained and validated on PAM images of leaf veins. The experiments show the effectiveness of our proposed method, which significantly outperforms existing methods quantitatively and qualitatively. Our model is also tested using in vivo PAM images of blood vessels of mouse ears and eyes. The results show that the model can enhance the image quality of the sparse PAM image of blood vessels from several aspects, which may help fast PAM and facilitate its clinical applications.

연구 동기 및 목표

• 점별 스캔 방식의 PAM 시스템에서 스캔 포인트를 줄임으로써 광음향 현미경 촬영 속도를 향상시키는 것.
• 촬영 속도와 영상 품질 간의 상충 관계를 해결하는 것.
• 저샘플링 데이터에서 고정밀도 PAM 영상을 복원하는 딥 러닝 기반 영상 복원 방법을 개발하는 것.
• 다양한 생물의학적 적용 가능성을 위해 이식성과 생체 내 마우스 조직(귀 및 눈)에 대해 방법을 검증하는 것.
• 나무 기반 또는 방사형 혈관 구조를 포함한 다양한 조직 패턴에 대해 모델의 강인성을 입증하는 것.

제안 방법

• 맞춤형 CNN 아키텍처는 특징 학습을 위한 잔차 블록과 채널별 특징 중요도를 향상시키기 위한 압축-흥장(SE) 블록을 조합한다.
• 모델은 저샘플링 PAM 영상(전체 해상도의 1/4 또는 1/16)을 잠재 공간의 전체 샘플링 영상으로 매핑함으로써 영상 초해상도 복원을 수행한다.
• 학습 중에 인지 손실 함수를 사용하여 세밀한 무늬와 구조적 세부 정보를 유지하고, MSE만을 사용한 학습에서 흔히 발생하는 흐림 현상을 방지한다.
• 모델은 올리브와 마그놀리아 잎 혈관의 268장의 전체 샘플링 PAM 영상 데이터셋을 기반으로 학습 및 검증되며, 저샘플링 영상 버전은 균일한 공간적 다운샘플링을 통해 생성된다.
• PSNR 및 SSIM 지표를 사용하여 평가하고, 전이 학습 없이 생체 내 PAM 데이터에 대해 테스트하여 생물 조직에 대한 제로샷 일반화 능력을 입증한다.
• 이미지 복원은 깊이 방향으로 PAM 데이터에 대해 2차원 최대 진폭 프로젝션(MAP)을 수행하여 수행되며, 이는 네트워크의 입력 및 출력으로 사용된다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망이 원래 샘플링 포인트의 1/4 또는 1/16만으로도 고품질 PAM 영상을 효과적으로 복원할 수 있는가?
• RQ2 압축-흥장 블록과 인지 손실 함수를 포함함으로써, MSE 손실을 사용하는 표준 CNN에 비해 영상 복원 성능가 향상되는가?
• RQ3 잎 혈관 패tern으로 훈련된 모델이 혈관 형태가 다른 생체 내 마우스 귀 및 눈 PAM 영상에 일반화 가능한가?
• RQ4 제안된 방법이 PAM에서 진단 가능한 영상 품질을 유지하면서 촬영 속도를 얼마나 향상시킬 수 있는가?
• RQ5 피кс엘 단위의 MSE 손실 대비 인지 손실 함수가 세밀한 해부학적 구조를 더 잘 유지하는가?

주요 결과

• 제안된 CNN 모델은 1/4 및 1/16 샘플링 케이스에서 이방성 보간법과 EDSR에 비해 PSNR 및 SSIM 모두에서 뚜렷한 성능 향상을 보였으며, SE 블록을 포함할 경우 PSNR는 최대 1.3876 dB 향상되고 SSIM은 0.0936 향상되었다.
• 인지 손실 함수는 시각적으로 열등한 복원 결과를 방지하여, 그림 4의 파란 화살표로 표시된 바와 같이 세밀한 무늬와 작은 분지가 MSE 학습 모델에서 손실되는 것을 방지한다.
• 4배 확대된 생체 내 마우스 귀 PAM 영상에서 모델은 PSNR 28.7 dB, SSIM 0.89를 기록하여 정량적 및 정성적 평가 모두에서 기준 방법을 능가했다.
• 방사형 혈관 패턴을 가진 마우스 눈 영상에서는 높은 구조적 정밀도와 날카운 에지 유지 능력을 보여, 훈련 데이터를 초월한 패턴 변형에 대한 강인성을 입증했다.
• 전체 샘플링 PAM과 비교해 1/16 샘플링으로 4배의 촬영 속도 향상을 달성하면서도 동일한 수준의 영상 품질을 복원하여 더 빠른 동적 영상 촬영을 가능하게 했다.
• 제거 실험 결과, SE 블록이 성능 향상에 기여하며, 4배 확대 조건에서 PSNR와 SSIM이 각각 1 dB 이상, 0.09 이상 향상됨을 확인했다.