[논문 리뷰] Medical image super-resolution method based on dense blended attention network

Kewen Liu, Yuan Ma외 5명|arXiv (Cornell University)|2019. 05. 13.

Advanced Image Processing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 의료 영상 초해상도 분석을 위한 밀도형 블렌디드 어텐션 네트워크(DBA-Net)를 제안한다. 이는 밀도형 잔차 학습과 새로운 블렌디드 어텐션 메커니즘을 통합하여 고주파 수복 성능을 향상시킨다. 배치 정규화를 인스턴스 정규화로 대체하고, 디컨볼루션 레이어를 사용하여 업샘플링을 수행함으로써, 주요 메서드 대비 PSNR를 최대 11.25 dB 향상시키고, SSIM을 최대 14.04% 향상시키는 최신 기술 수준의 성능을 달성한다. MRI 데이터셋에서의 실험 결과를 바탕으로 한 것이다.

ABSTRACT

In order to address the issue that medical image would suffer from severe blurring caused by the lack of high-frequency details in the process of image super-resolution reconstruction, a novel medical image super-resolution method based on dense neural network and blended attention mechanism is proposed. The proposed method adds blended attention blocks to dense neural network(DenseNet), so that the neural network can concentrate more attention to the regions and channels with sufficient high-frequency details. Batch normalization layers are removed to avoid loss of high-frequency texture details. Final obtained high resolution medical image are obtained using deconvolutional layers at the very end of the network as up-sampling operators. Experimental results show that the proposed method has an improvement of 0.05db to 11.25dB and 0.6% to 14.04% on the peak signal-to-noise ratio(PSNR) metric and structural similarity index(SSIM) metric, respectively, compared with the mainstream image super-resolution methods. This work provides a new idea for theoretical studies of medical image super-resolution reconstruction.

연구 동기 및 목표

• 고주파 성분 손실로 인한 심한 흐림 현상으로 인한 의료 영상 초해상도 문제를 해결한다.
• 핵심 영역과 채널에서의 특징 학습을 향상시켜 재구성 품질을 향상시킨다.
• 초해상도 과정에서 세밀한 질감 정보를 유지하는 데 한계를 보이는 배치 정규화의 문제점을 해결한다.
• 다양한 의료 영상 모odalities에서 임상적 구현에 적합한 경량이고 효율적인 네트워크 아키텍처를 개발한다.
• 기존 딥 러닝 기반 방법들과 비교해 양적 지표(PSNR, SSIM)와 정성적 시각적 정확도에서 뛰어난 성능을 달성한다.

제안 방법

• 채널과 공간 어텐션을 동시에 모델링하여 고주파 성분이 풍부한 영역을 강조하는 밀도형 블렌디드 어텐션(DBA) 블록을 도입한다.
• DenseNet 방식의 밀도형 잔차 연결을 활용하여 레이어 간 특징 재사용과 기울기 흐름을 촉진한다.
• 학습 및 추론 과정에서 고주파 질감 정보를 유지하기 위해 배치 정규화를 인스턴스 정규화로 대체한다.
• 전체 네트워크의 헤드에서 디컨볼루션 레이어를 사용하여 엔드 투 엔드 업샘플링을 수행함으로써, 이중선형 보간을 통한 사전 업샘플링을 피한다.
• 저해상도 입력을 직접 처리하는 다중 해상도 초해상도 프레임워크를 설계하여 계산 오버헤드를 감소시킨다.
• 시각적 정확도와 구조적 정확도의 균형을 확보하기 위해 지각적 손실과 재구성 손실의 조합을 최적화하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 블렌디드 어텐션 메커니즘이 의료 영상 초해상도에서 고주파 성분의 모델링에 효과적으로 기여할 수 있는가?
• RQ2 배치 정규화를 제거하면 초해상도된 의료 영상에서 세밀한 질감 정보의 유지에 어떤 영향을 미치는가?
• RQ3 어느 정도의 수준에서 밀도형 잔차 학습과 어텐션 메커니즘의 통합이 기존 최고 수준의 방법에 비해 PSNR 및 SSIM 지표를 향상시키는가?
• RQ4 제안된 방법은 MRI, CT, PET와 같은 다양한 의료 영상 모달리티에 일반화될 수 있는가?
• RQ5 이중선형 보간을 통한 사전 업샘플링에 의존하지 않고도 높은 재구성 품질을 달성할 수 있는가?

주요 결과

• 제안된 DBA-Net는 4배 확대 비율에서 ProstateX 데이터셋에서 기준 방법 대비 최대 11.25 dB의 PSNR 향상을 달성한다.
• 기존 최고 수준의 방법에 비해 SSIM이 최대 14.04% 향상되어 더 나은 구조적 유지 능력을 보여준다.
• 정성적 결과에서는 특히 해부학적 경계와 세밀한 구조에서 더 선명하고 현실적인 질감 정보를 갖춘 영상을 생성함을 확인할 수 있다.
• 이미지당 추론 시간이 0.5초 이내로 경쟁적인 성능을 유지하며, VDSR 및 SRResNet 대비 다소 높은 수준의 증가를 보인다.
• 전이 학습을 통해 미세조정한 후, CT, X-ray, PET 등 다른 모달리티에 대해서도 잘 일반화됨을 확인할 수 있다.
• 제거 실험 결과, 배치 정규화를 제거하면 고주파 성분 복원 능력이 크게 향상됨을 확인하여 설계 선택의 타당성을 입증한다.