[논문 리뷰] Eformer: Edge Enhancement based Transformer for Medical Image Denoising

Achleshwar Luthra, Harsh Sulakhe외 3명|arXiv (Cornell University)|2021. 09. 16.

Image and Signal Denoising Methods참고 문헌 23인용 수 11

한 줄 요약

Eformer는 비접촉 윈도우 자기주도 주의를 사용하는 U-Net 유사 인코더-디코더 프레임워크 내에서 학습 가능한 소벨-펠드먼 에지 강화 모듈을 통합한 새로운 트랜스포머 기반 아키텍처를 제안한다. 이는 저선량 CT 이미지 정화에 대해 최신 기술 수준의 성능을 달성하며, 잔차 학습을 사용하여 43.487 PSNR, 0.0067 RMSE, 0.9861 SSIM를 기록한다.

ABSTRACT

In this work, we present Eformer - Edge enhancement based transformer, a novel architecture that builds an encoder-decoder network using transformer blocks for medical image denoising. Non-overlapping window-based self-attention is used in the transformer block that reduces computational requirements. This work further incorporates learnable Sobel-Feldman operators to enhance edges in the image and propose an effective way to concatenate them in the intermediate layers of our architecture. The experimental analysis is conducted by comparing deterministic learning and residual learning for the task of medical image denoising. To defend the effectiveness of our approach, our model is evaluated on the AAPM-Mayo Clinic Low-Dose CT Grand Challenge Dataset and achieves state-of-the-art performance, $i.e.$, 43.487 PSNR, 0.0067 RMSE, and 0.9861 SSIM. We believe that our work will encourage more research in transformer-based architectures for medical image denoising using residual learning.

연구 동기 및 목표

• 저선량 CT 스캔에서의 노이즈 퇴색 문제를 해결하면서도 중요한 해부학적 에지와 구조를 유지하는 것.
• 비전 트랜스포머가 의료 영상 정화 분야에서 이전에 제한적으로 적용된 분야에서의 효과성을 탐색하는 것.
• 트랜스포머 아키텍처에 학습 가능한 엣지 강화 모듈을 통합하여 정화 성능을 향상시키는 것.
• 잔차 학습과 직접 회귀의 비교를 통해 의료 영상 정화 맥락에서의 성능 영향을 평가하는 것.
• 다중 척도 인지 손실을 갖는 하이브리드 트랜스포머-CNN 아키텍처를 사용하여 저선량 CT 정화의 새로운 최신 기술 수준 기준을 설정하는 것.

제안 방법

• Eformer는 비중첩 윈도우 기반 자기주도 주의를 사용하는 LeWin 트랜스포머 블록을 사용하여 계산 비용을 줄인 U-Net 스타일의 인코더-디코더 아키텍처를 구현한다.
• 에지 강화는 입력 영상에 적용된 학습 가능한 소벨-펠드먼 필터를 통해 달성되며, 그 출력은 인코더 및 디코더 경로의 중간 특징에 연결된다.
• 재구성된 영상의 구조적 및 픽셀 수준의 정밀도를 유지하기 위해 다중 척도 인지 손실과 평균 제곱 오차(MSE) 손실을 함께 사용한다.
• 스킵 연결은 인코더와 디코더 단계 사이에 사용되며, 동일한 엣지 강화 특징 맵 $ S(I) $ 가 모든 레이어에서 공유되어 에지 일관성을 유지한다.
• 최종 출력은 최종 특징 맵을 단일 채널의 정화된 영상으로 변환하는 학습 가능한 컨볼루션 투영 레이어를 통해 생성된다.
• 네트워크는 하이브리드 손실을 사용하여 훈련되며, $ L_{final} = \lambda_{mse}L_{mse} + \lambda_{msp}L_{msp} $ 로 표현되며, 여기서 $ L_{msp} $ 는 사전 훈련된 백본에서 추출된 다중 척도 인지 손실이다.

실험 결과

연구 질문

• RQ1 학습 가능한 엣지 강화 기능을 갖춘 트랜스포머 기반 아키텍처가 기존의 CNN 기반 모델에 비해 저선량 CT 영상 정화 성능을 향상시킬 수 있는가?
• RQ2 트랜스포머 기반 프레임워크를 사용할 때 잔차 학습이 직접 회귀보다 의료 영상 정화 작업에서 성능을 뛰어나게 하는가?
• RQ3 학습 가능한 소벨 필터를 트랜스포머 인코더-디코더에 통합하는 것이 세부 사항과 에지를 유지하는 데 얼마나 효과적인가?
• RQ4 다중 척도 인지 손실이 재구성된 저선량 CT 스캔의 구조 유사도와 시각적 품질을 얼마나 향상시키는가?
• RQ5 비중첩 윈도우 자기주도 주의 메커니즘이 과도한 계산 비용 없이도 의료 영상 정화에서 높은 효율성과 성능을 달성할 수 있는가?

주요 결과

• Eformer는 잔차 학습을 사용하여 AAPM-Mayo Clinic 저선량 CT 그랜드 챌린지 데이터셋에서 43.487 PSNR, 0.0067 RMSE, 0.9861 SSIM를 달성하며, 이는 이전의 모든 최신 기술 수준 방법들을 능가한다.
• Eformer의 잔차 학습 변종은 직접 회귀(결정적) 버전인 42.2371 PSNR와 0.0077 RMSE를 기록한 것에 비해 PSNR와 RMSE 모두 유의미하게 향상되었다.
• 학습 가능한 소벨-펠드먼 필터의 통합은 에지 유지 기여로 이어져 재구성된 영상의 구조 유사도와 인지 품질 향상에 기여했다.
• MSE 손실과 함께 다중 척도 인지 손실을 사용함으로써 높은 SSIM 값과 더 선명한 시각적 영상으로 인해 더 나은 구조적 정밀도가 확보되었다.
• 비중첩 윈도우 자기주도 주의 메커니즘은 계산 복잡도를 효과적으로 줄였으며 경쟁력 있는 성능을 유지하여 임상 적용에 적합한 모델이 되었다.
• Eformer는 트랜스포머가 의료 영상 정화에 효과적으로 적용될 수 있음을 입증하며, 새로운 기준을 설정하고 이 분야의 향후 연구를 장려한다.