[논문 리뷰] Metrics reloaded: Recommendations for image analysis validation

Lena Maier‐Hein, Annika Reinke외 72명|arXiv (Cornell University)|2022. 06. 03.

Artificial Intelligence in Healthcare and Education참고 문헌 69인용 수 62

한 줄 요약

이 논문은 문제 인식 기반의 지표 선택 프레임워크인 Metrics Reloaded를 소개하며, 문제 지문 작성(problem fingerprinting), Delphi 주도 프로세스, 온라인 도구를 바탕으로 이미지 분석 검증에서의 지표 선택을 다룬다.

ABSTRACT

Increasing evidence shows that flaws in machine learning (ML) algorithm validation are an underestimated global problem. Particularly in automatic biomedical image analysis, chosen performance metrics often do not reflect the domain interest, thus failing to adequately measure scientific progress and hindering translation of ML techniques into practice. To overcome this, our large international expert consortium created Metrics Reloaded, a comprehensive framework guiding researchers in the problem-aware selection of metrics. Following the convergence of ML methodology across application domains, Metrics Reloaded fosters the convergence of validation methodology. The framework was developed in a multi-stage Delphi process and is based on the novel concept of a problem fingerprint - a structured representation of the given problem that captures all aspects that are relevant for metric selection, from the domain interest to the properties of the target structure(s), data set and algorithm output. Based on the problem fingerprint, users are guided through the process of choosing and applying appropriate validation metrics while being made aware of potential pitfalls. Metrics Reloaded targets image analysis problems that can be interpreted as a classification task at image, object or pixel level, namely image-level classification, object detection, semantic segmentation, and instance segmentation tasks. To improve the user experience, we implemented the framework in the Metrics Reloaded online tool, which also provides a point of access to explore weaknesses, strengths and specific recommendations for the most common validation metrics. The broad applicability of our framework across domains is demonstrated by an instantiation for various biological and medical image analysis use cases.

연구 동기 및 목표

• 생물의학 영상 분석에서 지표 선택이 도메인 요구를 반영하지 못하는 경우가 왜 발생하는지 식별한다.
• 검증 지표를 선택하기 위한 문제 인식 프레임워크(Metrics Reloaded)를 개발한다.
• 이미지, 객체, 픽셀 수준에 걸친 지표 선택을 안내하는 구조화된 문제 지문을 만든다.
• 생물의학 사용 사례를 통해 프레임워크의 적용 가능성을 입증하고 실용적 활용을 위한 온라인 도구를 제공한다.

제안 방법

• 국제 전문가의 참여를 통한 다단계 Delphi 프로세스(2020–2022)로 Metrics Reloaded를 개발했다.
• 지표 선택과 관련된 도메인, 데이터 및 산출물 특성을 포착하는 문제 지문 작성을 도입한다.
• 이미지 수준 분류, 객체 탐지, 시맨틱 세분화, 인스턴스 세분화의 네 가지 문제 범주를 정의한다.
• 합의 기반 참조 기반 지표 저장소에서 지표 풀을 구성하고 지표 선택 경로에 정보를 제공한다.
• 모호한 경우를 위한 의사결정 가이드를 제공하고, 워크플로를 통해 사용자를 지원하는 온라인 도구를 구현한다.

실험 결과

연구 질문

• RQ1 지표 선택을 어떻게 생물의학 문제 및 도메인 이해관계에 맞출 수 있는가?
• RQ2 문제 지문이 문제- 및 모달리티-에 구애받지 않는 지표 추천을 가능하게 하려면 어떤 속성을 포착해야 하는가?
• RQ3 Delphi 주도 프로세스가 이미지 분석을 위한 로버스트하고 합의 기반의 검증 지표 풀을 어떻게 도출할 수 있는가?
• RQ4 실용적인 온라인 도구가 이미지 분석 과제 전반에 걸쳐 일관되고 교차 도메인화된 검증 지표 선택을 촉진할 수 있는가?
• RQ5 Metrics Reloaded 프레임워크가 서로 다른 이미징 모달리티 및 문제 규모에 얼마나 일반화될 수 있는가?

주요 결과

• Metrics Reloaded는 세 가지 유형의 지표 함정(부적절한 문제 범주, 잘못된 지표 선택, 잘못된 지표 적용)을 식별한다.
• 문제 지문 작성 방식은 도메인 지식 코딩을 통해 문제- 및 모달리티에 구애받지 않는 지표 추천을 가능하게 한다.
• 프레임워크는 네 가지 문제 범주(ImLC, SemS, ObD, InS)에서 Delphi 합의-backed 지표 풀과 함께 구조화된 지표 경로 및 의사결정 가이드를 제공한다.
• 온라인 도구는 프레임워크를 구현하여 사용자가 적절한 지표를 선택하고 적용하도록 돕는다.
• 컨소시엄은 여러 생물학 및 의학 사용 사례를 통해 프레임워크의 광범위한 적용 가능성을 입증한다.
• 지표 풀은 일반 지표와 Net Benefit 및 Expected Cost와 같은 비교를 포착하도록 설계된 더 알려지지 않은 참조 지표를 포함한다.