[논문 리뷰] Blind Image Quality Assessment for MRI with A Deep Three-dimensional content-adaptive Hyper-Network

Kehan Qi, Haoran Li외 5명|arXiv (Cornell University)|2021. 07. 13.

Image and Video Quality Assessment참고 문헌 35인용 수 4

한 줄 요약

이 논문은 3D 공간적 특징과 동적으로 생성된 네트워크 파rameter를 활용하여 성능을 향상시키는 3D 콘텐츠 적응형 하이퍼넷인 HyS-Net를 제안한다. 3D 기반 구조와 콘텐츠 인식 하이퍼넷을 통합함으로써 MRIQC 데이터셋에서 최신 기준(SROCC: 0.7566, PLCC: 0.8231)을 달성하여 기존 방법들보다 유의하게 뛰어난 성능을 보였다.

ABSTRACT

Image Quality Assessment (IQA) is of great value in the workflow of Magnetic Resonance Imaging (MRI)-based analysis. Blind IQA (BIQA) methods are especially required since high-quality reference MRI images are usually not available. Recently, many efforts have been devoted to developing deep learning-based BIQA approaches. However, the performance of these methods is limited due to the utilization of simple content-non-adaptive network parameters and the waste of the important 3D spatial information of the medical images. To address these issues, we design a 3D content-adaptive hyper-network for MRI BIQA. The overall 3D configuration enables the exploration of comprehensive 3D spatial information from MRI images, while the developed content-adaptive hyper-network contributes to the self-adaptive capacity of network parameters and thus, facilitates better BIQA performance. The effectiveness of the proposed method is extensively evaluated on the open dataset, MRIQC. Promising performance is achieved compared with the corresponding baseline and 4 state-of-the-art BIQA methods. We make our code available at \url{https://git.openi.org.cn/SIAT_Wangshanshan/HyS-Net}.

연구 동기 및 목표

• 기존 망명 영상 품질 평가(BIQA) 방법의 한계, 특히 3D 공간 정보 활용 부족과 비적응형 네트워크 파rameter 문제를 해결하기 위해.
• 이미지 콘텐츠에 따라 변화하는 콘텐츠 적응형 네트워크 파arameter를 도입하여 모델 예측과 인간 인식 간 격차를 해소하기 위해.
• 3D 공간적 구조를 효과적으로 활용하는 딥 러닝 기반 BIQA 프레임워크를 개발하기 위해.
• 대규모 개방형 MRI 데이터셋에서 제안된 방법을 평가하고 최신 기술 대비 우수성을 입증하기 위해.

제안 방법

• 3D MRI 볼륨에서 종합적인 공간적 특징을 추출하기 위해 3D 컨볼루션 신경망 기반 구조를 사용하여 부피적 맥락을 유지한다.
• 입력 이미지 콘텐츠에 기반해 동적으로 생성된 작업 특화 네트워크 가중치를 생성함으로써 자기 적응형 파arameter 조정이 가능하도록 한다.
• 하이퍼넷은 MRI 볼륨의 전역 맥락 임bedding을 입력으로 받아 회귀 헤드의 가중치를 생성함으로써 콘텐츠 인식 적응을 보장한다.
• 기준 영상 없이 손상된 MRI 스캔에서 영상 품질 점수를 예측하기 위해 회귀 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 3D 공간적 특징 추출의 활용으로 영상 간 상호관계 및 볼륨 내부 관계를 효과적으로 포착하여 MRI 품질 평가에 필수적인 요소를 확보한다.
• 생성된 가중치에 대한 주성분 분석(PCA)은 하이퍼넷이 콘텐츠에 따라 다르게 작동함을 확인하며, 다양한 이미지 콘텐츠에 대해 구분되는 가중치 패턴을 보여준다.

실험 결과

연구 질문

• RQ1 3D 공간 인식 아키텍처는 볼륨 맥락을 忽시하는 2D 접근 방식에 비해 망명형 MRI 영상 품질 평가 성능을 향상시킬 수 있는가?
• RQ2 이미지 콘텐츠에 기반해 동적으로 파arameter를 생성하는 콘텐츠 적응형 하이퍼넷은 BIQA에서 인간 인식과의 일치도를 향상시키는가?
• RQ3 3D 공간적 특징 통합과 콘텐츠 적응형 가중치 생성이 함께 BIQA 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 실제 MRI 데이터에서 기존 최신 기술 대비 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• HyS-Net는 MRIQC 데이터셋에서 스피어만 순서상관계수(SROCC) 0.7566과 피어슨 선형상관계수(PLCC) 0.8231을 기록하여 비교된 모든 방법들을 압도적으로 뛰어넘었다.
• 제거 실험을 통해 3D 공간 특징 추출기와 콘텐츠 적응형 하이퍼넷을 결합할 경우 성능 향상이 가장 크게 나타났으며, 기준 모델 대비 SROCC가 0.0243 향상되었다.
• 3D 공간적 특징 없이 콘텐츠 적응형 하이퍼넷만 도입할 경우 성능 향상이 미미하거나 오히려 저하됨을 확인하여, 효과적인 적응을 위해서는 3D 맥락이 필수적임을 입증하였다.
• PCA를 통한 생성된 가중치 시각화 결과 하이퍼넷이 콘텐츠에 따라 구분되는 가중치 패턴을 생성함을 확인하였으며, 이는 콘텐츠 적응 능력의 타당성을 검증하였다.
• ResNet-50 기반 모델은 3D 공간적 특징과 하이퍼넷을 모두 포함할 경우 ResNet-18보다 略적으로 우수한 성능을 보였지만, 적응형 구성 요소 없이 깊은 네트워크만 사용할 경우 성능 저하가 발생함을 확인하였다.
• 사전 최신 기술인 BRISQUE, DBCNN, deepIQA, Two Stream CNN와 비교했을 때, HyS-Net는 SROCC가 0.0307 높고 PLCC가 0.0234 높은 성능을 기록하여 뛰어난 성능을 입증하였다.