[논문 리뷰] Dense Dilated UNet: Deep Learning for 3D Photoacoustic Tomography Image Reconstruction

Steven Guan, Ko-Tsung Hsu외 2명|arXiv (Cornell University)|2021. 04. 07.

Photoacoustic and Ultrasonic Imaging참고 문헌 45인용 수 13

한 줄 요약

이 논문은 희박하고 제한된 시야 데이터로부터 3D 광음향단층촬영(PAT) 이미지 재구성 성능을 향상시키기 위해 밀집 연결과 확장 컨볼루션을 조합한 딥러닝 아키텍처인 디ensa 확장 UNet(DD-UNet)을 제안한다. 이 방법은 줄무늬 아티팩트를 크게 감소시키고 미세한 구조 복원 능력을 향상시켜, 구조 유사도 지표에서 풀리드 밀집 UNet보다 뛰어난 성능을 보인다.

ABSTRACT

In photoacoustic tomography (PAT), the acoustic pressure waves produced by optical excitation are measured by an array of detectors and used to reconstruct an image. Sparse spatial sampling and limited-view detection are two common challenges faced in PAT. Reconstructing from incomplete data using standard methods results in severe streaking artifacts and blurring. We propose a modified convolutional neural network (CNN) architecture termed Dense Dilation UNet (DD-UNet) for correcting artifacts in 3D PAT. The DD-Net leverages the benefits of dense connectivity and dilated convolutions to improve CNN performance. We compare the proposed CNN in terms of image quality as measured by the multiscale structural similarity index metric to the Fully Dense UNet (FD-UNet). Results demonstrate that the DD-Net consistently outperforms the FD-UNet and is able to more reliably reconstruct smaller image features.

연구 동기 및 목표

• 희박한 공간 샘플링과 제한된 시야 검출로 인해 발생하는 심각한 이미지 아티팩트(줄무늬, 흐림)를 해결하기 위해.
• 딥러닝을 활용하여 3D PAT 이미지의 미세한 구조적 세부 정보 재구성 능력을 향상시키기 위해.
• 부족한 데이터 상황에서 특징 학습과 맥락 집약을 향상시키는 새로운 CNN 아키텍처를 개발하기 위해.
• 3D PAT의 이미지 품질 지표에서 기존 아키텍처인 풀리드 밀집 UNet(FD-UNet)을 능가하기 위해.

제안 방법

• DD-UNet은 모든 밀집 블록 간의 특징 재사용과 기울기 흐름을 촉진하기 위해 밀집 연결을 적용한다.
• 확장 컨볼루션을 통합하여 파라미터 수를 늘리거나 해상도를 낮추지 않고도 수용 필드를 확장한다.
• 엔코더-디코더 아키텍처에 스킵 연결을 적용하여 업샘플링 과정에서 공간 정보를 유지한다.
• 모든 이전 레이어의 특징 맵을 연결하여 쌓는 방식으로 밀집 블록을 반복적으로 구성함으로써 특징 전파를 강화한다.
• 재구성 오차를 최소화하기 위해 지도 학습 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다양한 스케일의 구조 유사도(MS-SSIM)를 주요 평가 지표로 사용하여 참값이 알려진 3D PAT 데이터에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 희박하고 제한된 시야 데이터로부터 3D PAT 재구성에서 줄무늬 아티팩트를 효과적으로 줄일 수 있는 딥러닝 모델이 존재하는가?
• RQ2 밀집 연결과 확장 컨볼루션의 통합이 3D PAT에서 미세한 해부학적 구조 복원 능력을 향상시키는가?
• RQ3 DD-UNet은 이미지 품질과 구조적 충실도 측면에서 풀리드 밀집 UNet(FD-UNet)과 비교해 어떤가?
• RQ4 제안된 아키텍처는 PAT에서 다양한 수준의 데이터 불완전성에 일반화되어 성능을 유지하는가?

주요 결과

• 모든 테스트 데이터 조건에서 DD-UNet은 풀리드 밀집 UNet보다 일관되게 높은 다중스케일 구조 유사도(MS-SSIM) 점수를 확보했다.
• 모델은 일반적인 재구성 방법에서 자주 흐릿해지거나 사라지는 작은 이미지 특징을 재구성하는 데 뛰어난 능력을 보였다.
• 확장 컨볼루션의 사용으로 해상도를 유지하면서도 더 넓은 수용 필드에서 맥락을 효과적으로 집약할 수 있었다.
• 밀집 연결은 특징 학습 능력을 향상시키고 훈련 안정성을 개선하여 더 신뢰할 수 있는 재구성 결과를 이끌어냈다.
• 특히 신호 대 잡음비가 낮은 영역에서 기준 모델인 FD-UNet보다 줄무늬 아티팩트를 더 효과적으로 감소시켰다.
• 극도로 희박한 데이터 상황에서도 고성능을 유지하며 높은 이미지 충실도를 유지하는 것으로 나타났다.