[논문 리뷰] Common Limitations of Image Processing Metrics: A Picture Story

Annika Reinke, Minu D. Tizabi외 91명|arXiv (Cornell University)|2021. 04. 12.

Medical Image Segmentation Techniques참고 문헌 17인용 수 87

한 줄 요약

실용적 함정과 일반 이미지 처리 지표의 한계에 대한 Delphi 기반의 살아있는 개요로, 이미지 수준 분류, 시맨틱/인스턴스 분할, 객체 탐지 전반에 걸쳐 맥락 인식 지표 선택에 대한 가이드라인 제공.

ABSTRACT

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.

연구 동기 및 목표

• 의료 영상 분석에서 검증 결과에 영향을 미치는 지표 특성, 데이터 세트 특성, 생물의학 도메인 관련성의 중요성을 강조.
• 이미지 수준 분류, 분할, 객체 탐지 지표에서의 일반적인 함정 요약.
• 재현성 및 타당성을 향상시키기 위한 문제 및 맥락 인식 지표 선택에 대한 가이드 제공.

제안 방법

• 혼동 행렬 개념(TP, FP, TN, FN)을 기반으로 하는 핵심 지표(수 계산, 다중 임계, 거리 기반) 분석 및 분류.
• 지표 계열 간의 관계와 그것들이 이미지- 수준, 객체- 수준, 픽셀- 수준 문제에 어떻게 매핑되는지 설명.
• >60개 기관의 국제 컨소시엄이 수행한 델파이 과정을 통해 함정을 식별하기 위한 통찰 synthesized.
• 문제 범주별 함정(범주-지표 부합 불일치, 클래스 불균형, 다중 클래스 문제) 및 교차 주제 함정(집계, 시각화 등)을 제시.
• 생물의학 관련성 및 검증 목표에 맞춘 지표 선택을 위한 실용적 가이드라인 제시.

실험 결과

연구 질문

• RQ1 다양한 문제 범주(분류, 분할, 탐지) 간에 일반적으로 사용되는 이미지 분석 지표의 주요 한계와 함정은 무엇인가?
• RQ2 지표 특성과 데이터 세트 특성이 생물의학 영상 분석의 검증 결과에 어떤 상호 작용을 나타내는가?
• RQ3 강건하고 투명한 평가를 위해 문제와 맥락에 맞게 지표를 선택하기 위한 지침은 무엇인가?

주요 결과

• 지표는 범주-지표 부합 불일치 및 데이터 세트 특성에 크게 좌우되어 편향되거나 오해의 소지가 있는 검증 결과를 낳는다.
• 대다수의 지표 관련 함정은 잘못된 문제 범주에 부적절한 지표를 적용함으로써 발생한다(예: 시맨틱 대 인스턴스 분할, 또는 이미지 수준 대 객체 수준 작업).
• 클래스별 평가 및 다중 클래스 프레이밍은 클래스별 성능을 드러내고 집계 편향을 피하는 데 도움이 된다.
• 교차 주제 함정에는 무정보적 시각화, 유효하지 않은 알고리즘 출력, true 성능을 가리게 하는 집계 문제가 포함된다.
• 문서는 BIAs 도전, MICCAI 도전, MONAI 벤치마킹의 가이드라인과 도구를 모아 맥락 인식의 지표 선택을 촉진한다.