[논문 리뷰] Task Transformer Network for Joint MRI Reconstruction and Super-Resolution

Chun-Mei Feng, Yunlu Yan외 3명|arXiv (Cornell University)|2021. 06. 12.

Advanced MRI Techniques and Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 MRI 재구성과 초해상도 분석을 동시에 수행하기 위해 두 개의 작업 전용 브랜치 간에 특징을 공유하는 새로운 작업 변환기 모듈을 통해 종단 간 엔드 투 엔드 작업 변환기 네트워크인 T2Net를 제안한다. 이 방법은 순차적 방법 대비 4× 초해상도에서 6 dB 이상의 PSNR 향상을 이룩하며, 잡음 억제와 구조적 충실도 측면에서 뛰어난 성능을 보인다.

ABSTRACT

The core problem of Magnetic Resonance Imaging (MRI) is the trade off between acceleration and image quality. Image reconstruction and super-resolution are two crucial techniques in Magnetic Resonance Imaging (MRI). Current methods are designed to perform these tasks separately, ignoring the correlations between them. In this work, we propose an end-to-end task transformer network (T$^2$Net) for joint MRI reconstruction and super-resolution, which allows representations and feature transmission to be shared between multiple task to achieve higher-quality, super-resolved and motion-artifacts-free images from highly undersampled and degenerated MRI data. Our framework combines both reconstruction and super-resolution, divided into two sub-branches, whose features are expressed as queries and keys. Specifically, we encourage joint feature learning between the two tasks, thereby transferring accurate task information. We first use two separate CNN branches to extract task-specific features. Then, a task transformer module is designed to embed and synthesize the relevance between the two tasks. Experimental results show that our multi-task model significantly outperforms advanced sequential methods, both quantitatively and qualitatively.

연구 동기 및 목표

• MRI 촬영 속도와 영상 품질 간의 상충 관계를 해결하기 위해 재구성과 초해상도 분석을 동시에 해결하고자 한다.
• MRI 재구성과 초해상도 분석 간의 공유 표현을 활용하여 영상 품질을 향상시키고 잡음 요소를 줄이고자 한다.
• 주의 메커니즘을 사용하여 관련 작업 간의 특징 전달을 가능하게 하는 다중 작업 학습 프레임워크를 설계하고자 한다.
• 정량적 및 정성적 지표에서 최신의 순차적 재구성 및 초해상도 모델 조합보다 뛰어난 성능을 내고자 한다.

제안 방법

• T2Net는 MRI 재구성(보조 작업)을 위한 하나, 초해상도(목표 작업)를 위한 하나의 병렬 CNN 브랜치를 사용하여 각각 작업 전용 특징을 추출한다.
• 작업 변환기 모듈을 도입하여 재구성 브랜치의 특징을 키로, 초해상도 브랜치의 특징을 쿼리로 삼아 상호 작업 간 관련성을 모델링한다.
• 유사도 임bedding, 하드 어텐션, 소프트 어텐션을 사용하여 재구성 브랜치의 해부학적 구조 정보를 초해상도 출력 향상에 전달한다.
• 종단 간 엔드 투 엔드 학습을 위해 재구성 및 초해상도 목표를 조합한 다중 작업 손실을 사용하여 공동 최적화를 가능하게 한다.
• 고도로 미리 촬영된 데이터(예: 6× 카르테시안 가속) 및 높은 초해상도 인자(최대 4×)를 지원한다.

실험 결과

연구 질문

• RQ1 순차적 처리 대비 MRI 재구성과 초해상도 분석의 공동 학습이 영상 품질 향상에 기여하는가?
• RQ2 재구성에서 유도된 공유 해부학적 특징이 초해상도 결과 향상에 얼마나 효과적으로 전달되는가?
• RQ3 작업 특화 변환기 모듈의 통합이 고도로 미리 촬영된 MRI 데이터에서 특징 전달 및 잡음 억제에 기여하는가?
• RQ4 제안된 다중 작업 프레임워크는 정량적 및 정성적 측면에서 최신의 순차적 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 2× 초해상도 조건에서 IXI 데이터셋에서 T2Net은 29.397 dB의 PSNR를 달성했고, 임상 데이터셋에서는 30.400 dB를 기록하여 모든 순차적 조합을 능가했다.
• 4× 초해상도 조건에서 T2Net는 IXI 데이터셋에서 28.659 dB의 PSNR를 기록했고, 임상 데이터셋에서는 30.252 dB를 달성했으며, 최고의 순차적 방법(21.895 dB)보다 뚜렷한 향상을 이룩했다.
• 절단 실험 결과 재구성 브랜치를 제거할 경우 성능 저하가 발생하는 것을 확인했고, 작업 변환기 모듈를 제거하더라도 단순히 초해상도 브랜치만 사용하는 것보다 더 우수한 성능을 기록함으로써 특징 전달의 가치를 입증했다.
• 시각적 비교 결과 T2Net는 앨리어징 잡음 요소를 효과적으로 억제하고 특히 고초해상도 인자에서 세밀한 해부학적 구조를 잘 유지함을 확인했다.
• 고도로 미리 촬영된 데이터(6× 카르테시안 가속)에 대해 뚜렷한 강건성을 보였으며, 최소한의 흐림과 구조 손실로 높은 영상 품질을 유지했다.