[논문 리뷰] How can we learn (more) from challenges? A statistical approach to driving future algorithm development

Tobias L. Roß, Pierangela Bruno외 13명|arXiv (Cornell University)|2021. 06. 17.

Radiomics and Machine Learning in Medical Imaging인용 수 2

한 줄 요약

이 논문은 일반선형혼합모형(GLMMs)을 사용한 통계적 프레임워크를 제안하여 의료 영상 분석 챌린지에서 장애 원인을 분석한다. 이 프레임워크는 복강경 기구 분할을 위한 ROBUST-MIS 2019 챌린지에 적용되었으며, 2,728幅의 영상에 대한 의미론적 메타데이터 애너테이션을 활용하여 과노출, 운동, 가림, 연기, 배경 혼잡도 등 주요 실패 요인을 규명하였다. 이를 통해 특정한 알고리즘 개선이 가능해졌으며, 특히 겹치거나 움직이는 기구에 대해 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Challenges have become the state-of-the-art approach to benchmark image analysis algorithms in a comparative manner. While the validation on identical data sets was a great step forward, results analysis is often restricted to pure ranking tables, leaving relevant questions unanswered. Specifically, little effort has been put into the systematic investigation on what characterizes images in which state-of-the-art algorithms fail. To address this gap in the literature, we (1) present a statistical framework for learning from challenges and (2) instantiate it for the specific task of instrument instance segmentation in laparoscopic videos. Our framework relies on the semantic meta data annotation of images, which serves as foundation for a General Linear Mixed Models (GLMM) analysis. Based on 51,542 meta data annotations performed on 2,728 images, we applied our approach to the results of the Robust Medical Instrument Segmentation Challenge (ROBUST-MIS) challenge 2019 and revealed underexposure, motion and occlusion of instruments as well as the presence of smoke or other objects in the background as major sources of algorithm failure. Our subsequent method development, tailored to the specific remaining issues, yielded a deep learning model with state-of-the-art overall performance and specific strengths in the processing of images in which previous methods tended to fail. Due to the objectivity and generic applicability of our approach, it could become a valuable tool for validation in the field of medical image analysis and beyond. and segmentation of small, crossing, moving and transparent instrument(s) (parts).

연구 동기 및 목표

• 의료 영상 분석 챌린지에서 체계적인 분석이 부족한 점, 특히 최신 알고리즘이 특정 영상에서 실패하는 이유를 규명하지 못하는 문제를 해결하기 위해.
• 순위 매기기 초과의 객관적이고 통계적으로 엄밀한 방법을 활용해 챌린지 결과에서 학습할 수 있는 일반화된 방법을 개발하기 위해.
• 다중 인스턴스 복강경 기구 분할 과제에서 영상 특성들이 알고리즘 성능에 미치는 영향을 규명하는 데 프레임워크의 유용성을 입증하기 위해.
• 특히 운동, 가림, 낮은 시야 조건과 같은 어려운 시각 조건에서의 약점을 집중적으로 분석하여 향후 알고리즘 개발을 이끌기 위해.
• 실패 분석 기반의 재현 가능하고 데이터 기반의 접근 방식을 통해 의료 영상 분석 알고리즘의 반복적 개선을 위한 체계적인 방법을 확립하기 위해.

제안 방법

• ROBUST-MIS 2019 챌린지의 2,728장의 복강경 영상에 대해 의미론적 메타데이터 애너테이션(예: 조명, 운동, 가림, 연기)을 사용한다.
• 다양한 참가자의 알고리즘 성능(Dice 점수)과 영상 수준의 메타데이터 간의 상관관계를 분석하기 위해 일반선형혼합모형(GLMM)을 적용한다.
• 다른 알고리즘과 영상 시퀀스에 기인한 랜덤 효과를 고려하여 특정 영상 특성이 성능에 미치는 영향을 분리한다.
• 실패 요인은 GLMM의 고정 효과 추정을 통해 규명하며, 유의성은 p-값과 효과 크기로 평가한다.
• GLMM 분석에서 도출된 통찰을 바탕으로 운동, 가림, 겹치는 기구 처리 능력 향상을 위한 새로운 딥러닝 모델을 설계한다.
• 겹치는 인스턴스의 모호함을 해결하기 위해 광학 흐름과 후처리 CRF 단계를 통합하여 실패에 취약한 케이스에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 복강경 기구 분할 과제에서 어떤 영상 수준의 특성이 알고리즘 실패에 가장 크게 기여하는가?
• RQ2 운동, 가림, 또는 낮은 조명과 같은 특정 시각적 과제가 분할 성능에 미치는 영향을 객관적으로 어떻게 정량화할 수 있는가?
• RQ3 챌린지 결과의 통계적 분석에서 도출된 통찰은 더 강건한 딥러닝 모델 개발을 이끌 수 있는가?
• RQ4 실패 중심의 데이터 기반 접근 방식은 현재 최신 기술로 잘 다루지 못하는 어려운 케이스에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 메타데이터 애너테이션과 혼합효과 모델링을 통해 챌린지 결과를 향후 알고리즘 설계 원칙으로 전환할 수 있는가?

주요 결과

• 과노출, 운동, 가림, 연기, 배경 혼잡도가 복강경 기구 분할에서 알고리즘 실패의 주요 영상 특성으로 규명되었다.
• GLMM 분석 결과, 운동과 가림이 분할 성능에 가장 강한 부정적 영향을 미쳤으며, 두 요인 모두 p-값 < 0.01로 유의미하였다.
• 새로운 딥러닝 모델은 ROBUST-MIS 2019 테스트 세트에서 새로운 최고 성능(Dice 점수)을 기록했으며, 특히 실패에 취약한 케이스에서 이전 방법을 능가했다.
• 광학 흐름을 입력 특성으로 통합함으로써 성능 향상이著명했고, CRF를 통한 후처리로 겹치는 기구의 분리가 더욱 향상되었다.
• 이 방법은 8%의 영상에서 두 개 이상의 기구 인스턴스가 존재했지만, 훈련 및 테스트 세트에서 교차 또는 겹침 사례는 극히 드물게 존재하여 모델의 일반화 능력에 제한을 주었다.
• 현재 이미지당 2초 이상 소요되는 실시간 추론 문제에도 불구하고, 이 프레임워크는 임상 적용 가능한 강건한 알고리즘으로 향한 체계적이고 반복적인 개선 경로를 제공한다.