[논문 리뷰] Are we using appropriate segmentation metrics? Identifying correlates of human expert perception for CNN training beyond rolling the DICE coefficient

Florian Kofler, Ivan Ezhov외 17명|arXiv (Cornell University)|2021. 03. 10.

Radiomics and Machine Learning in Medical Imaging인용 수 16

한 줄 요약

이 연구는 의료 영상 분할에서 표준 분할 평가 지표인 DICE 계수의 사용을 도전하며, 인간 전문가들이 인공지능 기반 분할 결과를 인간이 수작업으로 작성한 기준 레이블보다 일관되게 더 높게 평가한다는 점을 입증한다. 저자들은 전문가 인식과 더 잘 일치하는 복합 손실 함수를 생성하기 위한 새로운 통계적 프레임워크를 제안하며, 기존 평가 지표가 임상적 관련성과 전문가 판단과 뚜렷이 부합하지 않음을 드러내며, 특히 융모성 종양 및 회색 물질과 같은 중요한 해부학적 구조에서 그러한 부족함이 두드러진다.

ABSTRACT

Metrics optimized in complex machine learning tasks are often selected in an ad-hoc manner. It is unknown how they align with human expert perception. We explore the correlations between established quantitative segmentation quality metrics and qualitative evaluations by professionally trained human raters. Therefore, we conduct psychophysical experiments for two complex biomedical semantic segmentation problems. We discover that current standard metrics and loss functions correlate only moderately with the segmentation quality assessment of experts. Importantly, this effect is particularly pronounced for clinically relevant structures, such as the enhancing tumor compartment of glioma in brain magnetic resonance and grey matter in ultrasound imaging. It is often unclear how to optimize abstract metrics, such as human expert perception, in convolutional neural network (CNN) training. To cope with this challenge, we propose a novel strategy employing techniques of classical statistics to create complementary compound loss functions to better approximate human expert perception. Across all rating experiments, human experts consistently scored computer-generated segmentations better than the human-curated reference labels. Our results, therefore, strongly question many current practices in medical image segmentation and provide meaningful cues for future research.

연구 동기 및 목표

• 의료 영상 분할에서 기존의 분할 평가 지표와 인간 전문가의 인식 간 상관관계를 조사하는 것.
• 표준 평가 지표인 DICE 계수 등이 임상적으로 중요한 분할 품질을 반영하지 못하는 이유를 규명하는 것, 특히 융모성 종양 및 초음파 영상에서의 회색 물질과 같은 중요한 해부학적 구조에서 그러한 문제를 중심으로 한다.
• 의사 전문가의 인식과 더 잘 일치하는 복합 손실 함수를 생성하기 위한 새로운 통계적 프레임워크를 개발하는 것.
• 인간 수작업 기반 기준 레이블이 분할 벤치마크에서 신뢰할 수 있는 진실값으로 간주되는 것에 대한 가정을 도전하는 것.
• 현재 의료 영상 분할 평가 관행이 전문가 판단과의 뚜렷한 부일치로 인해 오해의 소지가 있음을 경험적으로 입증하는 것.

제안 방법

• 두 가지 복잡한 생물의학적 분할 과제인 뇌 MRI에서의 뇌종양 및 초음파 영상에서의 회색 물질에 대해 전문 방사선과의사들을 대상으로 심리물리적 실험을 수행하여, CNN 기반 분할과 인간 수작업 기반 분할의 품질을 평가하였다.
• 해부학적 정확도, 윤곽 정밀도, 임상적 관련성에 중점을 두고 전문 평가자들이 분할 품질에 대해 질적 평가를 수집하였다.
• 전통적인 통계 기법을 적용하여 전문가 인식을 복합 지표로 모델링하고, 형태, 공간, 강도 기반 특징을 통합하여 새로운 손실 함수를 생성하였다.
• 전문가 평가에서 유도된 회귀 기반 가중치를 사용하여 표면 거리, 볼륨 겹침, 형태 유사성 등의 다수의 분할 품질 관련 요소를 조합하여 새로운 복합 손실 함수를 구성하였다.
• 수득한 손실 함수를 사용해 CNN을 훈련시키고, 표준 평가 지표 및 전문가 순위와의 비교를 통해 성능을 평가하였다.
• 전문가 평가를 기반으로 단일 CNN 모델과 앙상블 모델의 성능을 인간 수작업 기반 기준 레이블과 비교하여 상대적 품질을 평가하였다.

실험 결과

연구 질문

• RQ1 표준 분할 평가 지표인 DICE 계수 등이 의료 영상 분할에서 인간 전문가의 분할 품질 인식과 얼마나 잘 상관되는가?
• RQ2 현재 평가 지표가 임상적 관련성을 반영하지 못하는 정도는 어느 정도이며, 특히 융모성 종양이나 초음파 영상에서의 회색 물질과 같은 중요한 해부학적 구조에서 그러한 문제는 얼마나 심각한가?
• RQ3 전문가 평가에서 유도된 복합 손실 함수가 CNN 훈련 과정에서 표준 평가 지표보다 인간의 인식을 더 잘 반영할 수 있는가?
• RQ4 왜 인간 전문가들이 일관되게 인공지능 기반 분할 결과를 인간 수작업 기반 기준 레이블보다 더 높게 평가하는가?
• RQ5 기준 레이블과 전문가 인식 간 격리가 체계적 또는 무작위 표준화 오류로 인해 발생하는 정도는 어느 정도인가?

주요 결과

• 모든 실험에서 인간 전문가들은 단일 모델 예측조차도 인간 수작업 기반 기준 레이블보다 CNN 기반 분할 결과를 일관되게 더 높게 평가하였다.
• DICE 계수의 전문가 인식과의 상관관계는 중간 정도에 그쳤으며, 특히 융모성 종양 및 초음파 영상에서의 회색 물질과 같은 임상적으로 중요한 구조에서 그러한 상관관계가 뚜렷하게 낮았다.
• 일반적으로 진실값으로 간주되는 기준 레이블은 인공지능 기반 분할 결과보다 품질이 낮게 평가되었으며, 이는 기준 레이블이 신뢰할 수 있는 기준이 아닐 수 있음을 시사한다.
• 전문가 평가의 통계적 모델링에서 도출된 제안된 복합 손실 함수는 표준 평가 지표보다 전문가 인식과 더 잘 일치하는 것으로 나타났다.
• 인간과 인공지능 기반 분할 간 격리는 axial 시각에서 가장 작았으며, 이는 전문가 표준화에서 일반적으로 사용되는 시각이 인간 성능에 편향을 줄 수 있음을 시사한다.
• 인간 레이블의 무작위 및 체계적 표준화 오류가 표준 평가 지표와 전문가 인식 간 부적절한 상관관계를 초래할 가능성이 있으며, CNN은 이러한 무작위 오류를 평균화할 수 있다.