[논문 리뷰] Understanding metric-related pitfalls in image analysis validation

Annika Reinke, Minu D. Tizabi외 76명|arXiv (Cornell University)|2023. 02. 03.

Radiomics and Machine Learning in Medical Imaging인용 수 20

한 줄 요약

대중 참여 기반의 분류학 기반 자원으로, 이미지 분석 검증에서의 메트릭 함정들을 문서화하고, 연구자들이 메트릭을 올바르게 선택하고 적용하도록 돕는 도메인 독립적 프레임워크.

ABSTRACT

Validation metrics are key for the reliable tracking of scientific progress and for bridging the current chasm between artificial intelligence (AI) research and its translation into practice. However, increasing evidence shows that particularly in image analysis, metrics are often chosen inadequately in relation to the underlying research problem. This could be attributed to a lack of accessibility of metric-related knowledge: While taking into account the individual strengths, weaknesses, and limitations of validation metrics is a critical prerequisite to making educated choices, the relevant knowledge is currently scattered and poorly accessible to individual researchers. Based on a multi-stage Delphi process conducted by a multidisciplinary expert consortium as well as extensive community feedback, the present work provides the first reliable and comprehensive common point of access to information on pitfalls related to validation metrics in image analysis. Focusing on biomedical image analysis but with the potential of transfer to other fields, the addressed pitfalls generalize across application domains and are categorized according to a newly created, domain-agnostic taxonomy. To facilitate comprehension, illustrations and specific examples accompany each pitfall. As a structured body of information accessible to researchers of all levels of expertise, this work enhances global comprehension of a key topic in image analysis validation.

연구 동기 및 목표

• 이미지 분석의 진전과 실무 적용으로의 번역에 있어 검증 메트릭이 왜 중요한지 요약한다.
• 문제 카테고리(분류, 세분화, 탐지) 전반에 걸친 일반적인 함정을 목록화하고 분류하여 메트릭 선택에 도움을 준다.
• 도메인 독립적 분류체계를 제공하고 메트릭의 한계를 실용적 예시로 밝힌다.
• 연구자들이 메트릭의 특성, 한계, 함정에 대해 이해할 수 있는 단일 접근점을 제공한다.

제안 방법

• 62명의 국제 전문가를 대상으로 다단계 델파이 프로세스를 통한 크라우드소싱.
• 검증 메트릭과 관련된 37가지 함정 원천을 식별하기 위한 문헌 검토.
• 3개의 주요 범주(P1, P2, P3) 및 하위 범주로 함정을 분류하는 도메인 독립 분류체계 개발.
• 예시를 들어 함정을 설명하기 위한 메트릭별 프로필과 확장 데이터 자료의 작성.
• 연구자들을 위한 개별 함정과 예시를 상세히 다룬 보충 자료(Suppl. Note 2).

Figure 1 . Examples of metric-related pitfalls in image analysis validation. (A) Medical image analysis example: Voxel-based metrics are not appropriate for detection problems. Measuring the voxel-level performance of a prediction yields a near-perfect Sensitivity. However, the Sensitivity at the in

실험 결과

연구 질문

• RQ1 생의료 응용 전반에서 이미지 분석의 검증 메트릭에서 일반적으로 나타나는 함정은 무엇인가?
• RQ2 이러한 함정을 메트릭 선택과 적용을 돕는 도메인 독립 분류체계로 정리할 수 있는가?
• RQ3 연구자들에게 메트릭 정의, 특성, 한계에 대한 정보의 접근성은 어느 정도인가?
• RQ4 다양한 상황에서 메트릭 선택을 권고하는 관련 연구의 지침은 무엇이 있는가?

주요 결과

• 검증 메트릭에 대한 정보는 연구자들에게 거의 접근 가능하지 않아 합리적인 메트릭 선택을 방해한다.
• 다학제적 델파이 프로세스가 이미지 분석 검증에서 메트릭 사용과 관련된 37개의 서로 다른 함정 원천을 확인했다.
• 도메인 독립 분류체계가 만들어져 함정을 세 가지 주요 그룹으로 분류한다: 문제 범주 미비, 메트릭 선택의 미흡, 메트릭 적용의 미흡.
• 일반적인 관행이 자주 메트릭 선택을 이끄는 반면, 이 관행은 종종 근거가 부족하고 잘못된 방법론을 확산시킬 수 있다.
• 본 연구는 메트릭 프로필과 시각화를 포함한 중앙 집중식 자원을 제공하여 연구자들이 특정 메트릭의 잠재적 함정을 신속하게 평가하도록 돕는다.

Figure 2 . Overview of the taxonomy for metric-related pitfalls. Pitfalls can be grouped into three main categories: [P1] Pitfalls related to the inadequate choice of the problem category, [P2] pitfalls related to poor metric selection, and [P3] pitfalls related to poor metric application. [P2] and