[논문 리뷰] CTformer: Convolution-free Token2Token Dilated Vision Transformer for Low-dose CT Denoising

Dayang Wang, Fenglei Fan외 4명|arXiv (Cornell University)|2022. 02. 28.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 복합성을 제거하고, 확장된 특징 맵과 적응형 토큰 재배열을 통해 장거리 맥락을 보다 효과적으로 포착하는, 복소 없이 토큰 간 거리가 확장된 시각 트랜스포머인 CTformer을 제안한다. 이는 주어진 계산량 이하에서 최신 기술 성능을 달성하며, 주의 시각화와 동적 흐름 추적을 통해 해석 가능성도 향상시킨다. 또한 경계 아티팩트를 줄이기 위해 겹치는 추론 기반 메커니즘을 도입하였다.

ABSTRACT

Low-dose computed tomography (LDCT) denoising is an important problem in CT research. Compared to the normal dose CT (NDCT), LDCT images are subjected to severe noise and artifacts. Recently in many studies, vision transformers have shown superior feature representation ability over convolutional neural networks (CNNs). However, unlike CNNs, the potential of vision transformers in LDCT denoising was little explored so far. To fill this gap, we propose a Convolution-free Token2Token Dilated Vision Transformer for low-dose CT denoising. The CTformer uses a more powerful token rearrangement to encompass local contextual information and thus avoids convolution. It also dilates and shifts feature maps to capture longer-range interaction. We interpret the CTformer by statically inspecting patterns of its internal attention maps and dynamically tracing the hierarchical attention flow with an explanatory graph. Furthermore, an overlapped inference mechanism is introduced to effectively eliminate the boundary artifacts that are common for encoder-decoder-based denoising models. Experimental results on Mayo LDCT dataset suggest that the CTformer outperforms the state-of-the-art denoising methods with a low computation overhead.

연구 동기 및 목표

• 저선량 CT(LDCT) 영상에서 심각한 노이즈와 아티팩트로 인해 임상적 유용성이 제한되는 문제를 해결하기 위해.
• CNN이 장거리 상관관계를 포착하는 데에 한계가 있음에도 불구하고, 순수한 시각 트랜스포머가 LDCT 노이즈 제거에 어떻게 활용될 수 있는지 탐색하기 위해.
• 임상적 신뢰를 확보하기 위해 주의 시각화와 동적 흐름 추적을 통해 효과적이면서도 해석 가능한 모델을 개발하기 위해.
• 에코더-디코더 아키텍처에서 흔히 발생하는 경계 아티팩트를 제거하기 위해 겹치는 추론 기반 메커니즘을 도입하기 위해.
• 하이브리드 CNN-트랜스포머 모델보다 계산 비용을 낮추면서도 성능이 뛰어난 순수 트랜스포머 아키텍처가 LDCT 노이즈 제거에서 승리할 수 있음을 입증하기 위해.

제안 방법

• CTformer는 복소 연산을 대체하기 위해 공간 영역 간 토큰 재배열을 통해 국소 및 전반적 특징 통합을 강화하는 Token2Token Dilated(T2TD) 블록을 도입한다.
• 확장 및 이동된 특징 맵을 사용하여 수신 필드를 확장하고 장거리 의존성을 포착함으로써 맥락 표현을 향상시킨다.
• 계층적 자기주도 주의 메커니즘과 순환 이동을 통해 층 간 다이나믹하고 다중 스케일 특징 학습을 가능하게 한다.
• 테스트 시에 겹치는 수신 필드를 허용함으로써 경계 아티팩트를 완화하기 위해 겹치는 추론 전략을 도입한다.
• 정적 주의 맵 분석과 TopK 및 국소 최대값(LM) 그래프를 활용한 동적 주의 흐름 추적을 통해 해석 가능성을 확보한다.
• 모델은 재구성 손실을 사용하여, 노이즈가 많은 LDCT 영상에서 정상 선량 CT(NDCT) 영상으로 매핑하는 데 있어 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 복소 연산을 사용하지 않고도 순수한 시각 트랜스포머 아키텍처가 CNN 기반 및 하이브리드 모델보다 저선량 CT 노이즈 제거에서 승리할 수 있는가?
• RQ2 확장 및 이동된 특징 맵을 갖춘 제안된 T2TD 블록이 표준 ViT나 Swin Transformer 설계에 비해 특징 표현을 어떻게 향상시키는가?
• RQ3 CTformer의 자기주도 주의 맵을 얼마나 잘 해석할 수 있는가? 이는 임상적 신뢰를 확보하기 위한 모델의 내부 의사결정 과정을 드러내는 데 기여하는가?
• RQ4 제안된 겹치는 추론 기반 메커니즘이 에코더 스타일 노이즈 제거 모델에서 흔히 발생하는 경계 아티팩트를 효과적으로 줄일 수 있는가?
• RQ5 성능과 훈련 효율성 측면에서 CTformer의 최적의 깊이(트랜스포머 블록 수)는 얼마인가?

주요 결과

• CTformer는 Mayo LDCT 데이터셋에서 SSIM 0.9121과 RMSE 9.0233을 기록하여, 최신 기술인 Solve-ViT를 SSIM 0.0235 포인트와 RMSE 3.3362 포인트 향상시켰다.
• 단일 트랜스포머 블록만을 사용한 모델가 최고의 성능을 기록하여, 더 깊은 네트워크가 노이즈 제거 성능 향상에 기여하지 않으며 훈련 시간을 크게 증가시킨다는 점을 시사한다.
• T2TD 블록은 특징 통합을 향상시켜, 고정 영역 토큰화와 단일 복소를 사용하는 Sole-ViT 기반 베이스라인에서 관찰된 덜 매끄러운 아티팩트를 감소시켰다.
• 순환 이동 연산을 적용한 경우, SSIM은 0.0026 포인트 향상되고 RMSE는 0.1337 포인트 감소하였다.
• 주의 시각화 결과, 일관된 동적 흐름이 관찰되었으며, 국소 최대값 활성화가 층 간 동일한 공간적 위치에 집중되어 있어 노이즈 감소 과정에서 구조적 구성 요소의 일관된 동시 활성화를 나타낸다.
• 제안된 해석 프레임워크(TopK 및 LM 그래프 사용)는 계층적 주의 흐름을 성공적으로 추적하여 모델의 잠재적 행동을 시각적이고 동적 방식으로 이해할 수 있게 하였다.