[논문 리뷰] A study on the adequacy of common IQA measures for medical images

Anna Breger, Clemens Karner외 12명|arXiv (Cornell University)|2024. 05. 29.

Consumer Perception and Purchasing BehaviorBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 흉부 X-ray 및 광음향 영상에서 전문가 평가를 바탕으로 일반적인 이미지 품질 평가(IQA) 측정법이 의료 영상에 적합한지 평가한다. 추가로 천연 영상 및 가속화된 뇌 MRI에 관한 보조 데이터도 포함한다. 결과적으로 PSNR 및 SSIM은 의료 환경에서 성능이 열 劣하다. 반면 HaarPSI, DISTS, FSIM 및 LPIPS는 인간 평가와 높은 상관관계를 보이며, 의료 영상에서 작업에 특화된 IQA 메트릭이 필요하다는 것을 시사한다.

ABSTRACT

Image quality assessment (IQA) is standard practice in the development stage of novel machine learning algorithms that operate on images. The most commonly used IQA measures have been developed and tested for natural images, but not in the medical setting. Reported inconsistencies arising in medical images are not surprising, as they have different properties than natural images. In this study, we test the applicability of common IQA measures for medical image data by comparing their assessment to manually rated chest X-ray (5 experts) and photoacoustic image data (2 experts). Moreover, we include supplementary studies on grayscale natural images and accelerated brain MRI data. The results of all experiments show a similar outcome in line with previous findings for medical images: PSNR and SSIM in the default setting are in the lower range of the result list and HaarPSI outperforms the other tested measures in the overall performance. Also among the top performers in our experiments are the full reference measures FSIM, LPIPS and MS-SSIM. Generally, the results on natural images yield considerably higher correlations, suggesting that additional employment of tailored IQA measures for medical imaging algorithms is needed.

연구 동기 및 목표

• 원래 천연 영상용으로 설계된 널리 사용되는 IQA 측정법이 의료 영상 데이터에 얼마나 적합한지 평가하기 위해.
• 의료 영상에서 신뢰할 수 있는 IQA 벤치마킹을 위한 전문가가 레이팅한 공개 가능한 데이터셋의 부족을 해결하기 위해.
• 일반적인 전반적 참조(FR) 및 비참조(NR) IQA 메트릭이 임상 영상 품질 평가에서 인간 전문가의 인식과 효과적으로 상관관계를 가지는지 조사하기 위해.
• 의료 영상 복원 및 재구성 작업에 적합한 강력하고 일반화 가능한 IQA 측정법을 특정하기 위해.
• PSNR 및 SSIM이 의료 환경에서의 한계를 강조하고 임상 AI 개발에서 맞춤형 또는 개선된 메트릭이 필요하다고 주장하기 위해.

제안 방법

• 수동 평가된 의료 영상 데이터셋을 사용한 네 가지 독립 실험을 수행함: 흉부 X-ray(5명의 전문가), 광음향 영상(1명의 전문가), 회색조 천연 영상(5명의 평가자), 가속화된 뇌 MRI 재구성.
• PSNR, SSIM, MS-SSIM, DISTS, LPIPS, HaarPSI, 그리고 NIQE 및 PaQ-2-PIQ와 같은 NR 측정법을 포함한 표준화된 IQA 메트릭을 사용함.
• 전문가 평가를 수집하고 표준화하기 위해 speedyIQA 어노테이션 툴을 사용하였으며, 상관 분석 이전에 평가자 간 z-스코어 정규화를 적용함.
• IQA 점수와 수동 평가 간의 스피어만 및 켄달 순위 상관 계수(SRCC/KRCC)를 사용하여 성능을 평가함.
• IQA 측정법의 공식 구현체를 사용하였으며, 원본 코드가 없어 VIF에 대해서는 PyTorch Lightning을 활용함.
• 회색조 및 색상 영상, 영상 모odalities(X-ray, 광음향, MRI), 그리고 왜곡 유형(노이즈, 압축, 가속화)에 걸쳐 일반화 능력을 테스트함.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 IQA 측정법이 흉부 X-ray 및 광음향 스캔과 같은 의료 영상에서 전문가 평가와 얼마나 잘 상관되는가?
• RQ2 PSNR 및 SSIM과 같은 표준 IQA 메트릭이 인간 인식과 비교할 때 의료 영상 품질 평가에 여전히 신뢰할 수 있는가?
• RQ3 어느 IQA 측정법이 다양한 의료 영상 작업 및 모달리티에 걸쳐 가장 높은 일반화 능력과 강건성을 보이는가?
• RQ4 전반적 參조(FR) 및 비참조(NR) IQA 측정법은 의료 영상에서 인간 어노테이션 품질 순위를 반영하는 데 얼마나 효과적인가?
• RQ5 천연 영상에서 훈련된 IQA 메트릭이 회색조, 저대비, 고진단 세부 정보를 가진 의료 영상 데이터에 얼마나 일반화되는가?

주요 결과

• 기본 설정에서 PSNR 및 SSIM은 모든 의료 영상 데이터셋에서 전문가 평가와 가장 낮은 상관관계를 보이며, 의료 영상 품질 평가에 적합성이 떨어짐을 확인함.
• HaarPSI는 일관되게 다른 IQA 측정법보다 뛰어나 모든 테스트된 의료 영상 작업에서 상위 3개 이내로 랭크되었으며, 강력한 일반화 능력을 보임.
• DISTS, FSIM, LPIPS, MS-SSIM과 같은 전반적 참조 측정법은 여러 데이터셋에서 뛰어난 성능을 보이며, 의료 영상 평가에 활용 가능성을 시사함.
• IQA 측정법의 상관 계수는 의료 영상 데이터셋보다 회색조 천연 영상 데이터셋에서 유의미하게 높았으며, 의료 환경에서의 성능 격차를 드러냄.
• NIQE 및 PaQ-2-PIQ와 같은 NR 측정법은 가속화된 MRI 재구성에서 품질 열화를 감지하는 데 어려움을 겪어, 임상적으로 중요한 왜곡에 민감도가 낮음.
• 이 연구는 일반적인 메트릭인 PSNR 및 SSIM이 전문가 인식과 일치하지 않기 때문에, 의료 영상에서 작업에 특화되고 모달리티를 고려한 IQA 메트릭이 필요하다고 확인함.