[논문 리뷰] Duke PAM Dataset

Anthony DiSpirito, Daiwei Li외 6명|arXiv (Cornell University)|2020. 05. 30.

Photoacoustic and Ultrasonic Imaging참고 문헌 19인용 수 15

한 줄 요약

이 논문은 사진음향 현미경(PAM) 영상을 과도하게 샘플링된 데이터로부터 재구성하기 위해 완전 밀도 U-Net(FD U-Net) 기반의 딥러닝 기법을 제안하며, 영상 촬영 속도와 해상도 사이의 상충 관계를 극복한다. 이 모델은 원본 픽셀의 최소 2%만으로도 고정성 재구성을 달성하여 영상 촬영 시간을 크게 단축시키면서도 영상 품질을 유지한다.

ABSTRACT

Duke PAM is a photoacoustic microscopy (PAM) dataset collected at Duke University with the optical resolution PAM system described in (M. Chen et al., "Simultaneous photoacoustic imaging of intravascular and tissue oxygenation," <em>Optics Letters</em>, vol. 44, no. 15, pp. 3773-3776, 2019.) at a wavelength of 532 nm. This dataset is composed of primarily mouse brain microvasculature images, with a few images of mouse ear and tumors. Although collected in 3-D, for the purposes of viewing, collection, and storage, the images have been projected into 2-D using maximum amplitude projection (MAP). These data were collected with support from the National Institutes of Health (R01 EB028143, R01 NS111039, R01 NS115581, R21 EB027304, R43 CA243822, R43 CA239830, R44 HL138185); Duke MEDx Basic Science Grant; Duke Center for Genomic and Computational Biology Faculty Research Grant; Duke Institute of Brain Science Incubator Award; American Heart Association Collaborative Sciences Award (18CSA34080277). The "clean" subset contains PAM images of variable size that have been preprocessed and stored as uint8 .jpg images. The "patches" subset contains non-overlapping 128-by-128 pixel patches of the "clean" images stored as uint8 .jpg images. The "raw" subset contains PAM images of variable size before they have been preprocessed (stored as uint16 .png images). For general deep learning tasks, the "clean" dataset can be used with random crop (none of the images have dimensions less than 128-by-128). If uniformly-sized images are desired without needing to use random crop, the "patches" subset would work best. The "raw" subset works best for deep learning tasks that expect input images that are closer to raw/unprocessed PAM images and are willing to take on the memory burden of loading uint16 .png images.

연구 동기 및 목표

• 사진음향 현미경(PAM)에서 해상도와 촬영 속도 사이의 상충 관계를 극복하기 위해.
• 심각하게 과도하게 샘플링된 데이터로부터 고품질 PAM 영상을 재구성할 수 있는 딥러닝 모델을 개발하기 위해.
• 실제 영상 촬영 조건을 시뮬레이션하기 위해 다양한 수준의 과도 샘플링에 대한 모델의 강인성을 평가하기 위해.
• 마우스 뇌 혈관 구조의 완전히 샘플링된 PAM 영상의 인위적 저해상도 변환을 통해 재구성 성능의 기준값을 설정하기 위해.

제안 방법

• 마우스 뇌 혈관의 완전히 샘플링된 PAM 영상을 여러 비율로 인위적으로 저해상도로 변환하여 과도 샘플링 조건을 시뮬레이션한다.
• 다양한 합성곱 신경망(CNN) 아키텍처를 훈련 및 평가하여 최적의 성능을 보인 완전 밀도 U-Net(FD U-Net)을 선택한다.
• FD U-Net 아키텍처를 사용하여 저해상도, 과도 샘플링된 PAM 입력에서 고해상도 재구성 출력으로의 매핑을 학습한다.
• 원본 완전 샘플링 영상에서의 진짜값을 기준으로 하여 합성 과도 샘플링 데이터를 기반으로 모델을 종합적으로 훈련한다.
• 다양한 샘플링 비율에서의 비공개 과도 샘플링 데이터에 대해 추론을 수행하여 재구성 정확도를 평가한다.
• 수치적 지표와 시각적 분석을 통해 영상 품질 유지 정도를 정량화하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기법이 원본 픽셀의 최소 2% 데이터만으로도 사진음향 현미경 영상을 효과적으로 재구성할 수 있는가?
• RQ2 FD U-Net의 성능은 과도 샘플링된 PAM 영상 재구성에서 다른 CNN 아키텍처와 비교해 어떻게 다른가?
• RQ3 극도로 과도 샘플링된 조건에서도 제안된 방법이 영상 품질과 구조적 정확성을 얼마나 잘 유지할 수 있는가?
• RQ4 다양한 영상 촬영 조건에서 다양한 수준의 과도 샘플링에 대해 모델의 강인성은 어떠한가?

주요 결과

• FD U-Net 모델은 원본 픽셀의 최소 2%만으로도 고정성 영상 재구성을 달성하여 놀라운 데이터 효율성을 보였다.
• 심지어 극도로 과도 샘플링된 비율에서도 재구성된 영상의 구조적 및 질감적 정확성이 유지되었다.
• 수치적 분석을 통해 여러 샘플링 수준에서 일관된 성능을 보였으며, 영상 품질에 대한 열화가 최소한이었다.
• 표준 U-Net 및 잔차 네트워크를 포함한 다른 테스트된 CNN 아키텍처보다 시각적 및 정량적 지표에서 FD U-Net이 뛰어난 성능을 보였다.
• 이 방법을 통해 촬영 시간을 약 50배까지 단축시킬 수 있었으며, 해상도나 진단 품질에 큰 손실 없이 가능했다.