[논문 리뷰] Feedback Graph Attention Convolutional Network for Medical Image Enhancement

Xiaobin Hu, Yanyang Yan외 5명|arXiv (Cornell University)|2020. 06. 24.

Advanced Image Processing Techniques참고 문헌 13인용 수 11

한 줄 요약

이 논문은 MRI에서 질감 세부 정보를 향상시키고 잡음 및 아티팩트를 억제하기 위해 그래프 기반 전역 구조 모델링과 피드백 정련을 활용하는 새로운 딥러닝 프레임워크인 피드백 그래프 주의 컨volution 네트워크(FB-GACN)를 제안한다. 이는 확산 및 FLAIR MRI 스캔에서 초해상도 복원 및 아티팩트 제거 분야에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Artifacts, blur and noise are the common distortions degrading MRI images during the acquisition process, and deep neural networks have been demonstrated to help in improving image quality. To well exploit global structural information and texture details, we propose a novel biomedical image enhancement network, named Feedback Graph Attention Convolutional Network (FB-GACN). As a key innovation, we consider the global structure of an image by building a graph network from image sub-regions that we consider to be node features, linking them non-locally according to their similarity. The proposed model consists of three main parts: 1) The parallel graph similarity branch and content branch, where the graph similarity branch aims at exploiting the similarity and symmetry across different image sub-regions in low-resolution feature space and provides additional priors for the content branch to enhance texture details. 2) A feedback mechanism with a recurrent structure to refine low-level representations with high-level information and generate powerful high-level texture details by handling the feedback connections. 3) A reconstruction to remove the artifacts and recover super-resolution images by using the estimated sub-region correlation priors obtained from the graph similarity branch. We evaluate our method on two image enhancement tasks: i) cross-protocol super resolution of diffusion MRI; ii) artifact removal of FLAIR MR images. Experimental results demonstrate that the proposed algorithm outperforms the state-of-the-art methods.

연구 동기 및 목표

• 촬영 중에 이미지 품질을 떨어뜨리는 일반적인 MRI 왜곡, 예를 들어 블러, 노이즈 및 아티팩트를 해결하기 위해.
• 이미지 하위 영역 간의 전역 구조적 및 대칭적 관계를 활용하여 저해상도 의료 영상에서 질감 세부 정보 복원을 향상시키기 위해.
• 그래프 네트워크에서 유도된 하위 영역 상관관계 사전 지식을 통합하여 초해상도 복원 성능을 향상시키기 위해.
• 고수준 의미 정보를 통합하는 반복 피드백 메커니즘을 사용하여 저수준 특징을 정련하기 위해.
• 확산 및 FLAIR 시퀀스를 포함한 다양한 MRI 프로토콜에 효과적으로 적용 가능한 통합 프레임워크를 개발하기 위해.

제안 방법

• 이미지 하위 영역을 노드로 간주하고, 저해상도 특징 공간에서의 유사도로 간선를 정의하여 전역 구조적 의존성을 모델링하는 그래프 네트워크를 구축한다.
• 구조적 사전 지식을 제공하여 질감 향상에 도움을 주는 그래프 유사도 브랜치와 콘텐츠 브랜치를 병렬로 구현한 아키텍처를 사용한다.
• 고수준 특징을 사용하여 반복적으로 저수준 표현을 정련하는 반복 피드백 메커니즘을 도입하여 더 정확한 질감 세부 정보를 생성한다.
• 그래프 유사도 브랜치에서 추정한 하위 영역 상관관계 사전 지식을 활용하여 복원 모듈이 아티팩트를 제거하고 고해상도 영상을 복원하도록 이끈다.
• 특징 유사도 기반으로 하위 영역 간 비국소 연결을 활용하여 고정된 커널 크기에 의존하지 않고 장거리 의존성을 포착한다.
• 다중 척도 특징 학습과 주의 메커니즘을 조합하여 향상 과정에서 관련된 구조적 패턴을 우선순위로 지정한다.

실험 결과

연구 질문

• RQ1 이미지 하위 영역 간의 전역 구조적 관계를 모델링하면 저해상도 MRI에서 질감 세부 정보 복원에 도움이 될 수 있는가?
• RQ2 그래프 기반 유사도 사전 지식을 통합하면 딥러닝 모델의 의료 영상 초해상도 성능이 어떻게 향상되는가?
• RQ3 반복 피드백 메커니즘이 의료 영상 향상에서 특징 표현 학습을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 확산 및 FLAIR와 같은 다양한 MRI 프로토콜에 일반화되어 아티팩트 제거 및 초해상도 복원에 효과적인가?
• RQ5 그래프 네트워크에서 유도된 구조적 사전 지식의 통합이 기존의 CNN 기반 방법에 비해 뛰어난 아티팩트 억제 성능을 보이는가?

주요 결과

• 제안된 FB-GACN는 확산 MRI의 프로토콜 간 초해상도 복원에서 최신 기술 수준(SOTA) 방법을 능가하며, 더 높은 PSNR 및 SSIM 값을 기록한다.
• FLAIR MRI 아티팩트 제거에서 FB-GACN는 노이즈와 블러를 크게 감소시키면서도 미세한 해부학적 구조를 잘 유지한다.
• 그래프 유사도 브랜치는 하위 영역 간 대칭적이고 구조적인 패턴을 효과적으로 포착하여 질감 세부 정보 복원 향상에 기여한다.
• 피드백 메커니즘이 고수준 의미적 맥락을 반복적으로 활용하여 저수준 특징 표현을 향상시킨다.
• 하위 영역 상관관계 사전 지식의 통합은 합성 및 실제 MRI 데이터에서 모두 더 정확한 복원을 이끌어내어 아티팩트를 감소시킨다.
• 절단 실험 결과, 그래프 모델링과 피드백 구성 요소가 최적 성능을 내기 위해 필수적임을 확인하였으며, 각각 최종 향상 품질에 크게 기여한다.