[논문 리뷰] Employing Weak Annotations for Medical Image Analysis Problems

Martin Rajchl, Lisa M. Koch외 5명|arXiv (Cornell University)|2017. 08. 21.

Advanced Neural Network Applications참고 문헌 23인용 수 10

한 줄 요약

이 논문은 저도약 전문성의 대중 주석(예: 경계 상자, 스크래치, 사전 분할)과 이상치 보정을 위한 약한 레이블이 부여된 애틀라스를 결합한 약한 지도 학습 기반 간장 분할 방법을 제안한다. 대중 주석에서 높은 오류율(최대 50%)이 존재함에도 불구하고, 오류 주석을 보정함으로써 최신 기술 수준의 DSC 점수(94% 초과)를 달성하여 전문가가 아닌 대중의 참여로도 정확한 분할을 가능하게 한다.

ABSTRACT

To efficiently establish training databases for machine learning methods, collaborative and crowdsourcing platforms have been investigated to collectively tackle the annotation effort. However, when this concept is ported to the medical imaging domain, reading expertise will have a direct impact on the annotation accuracy. In this study, we examine the impact of expertise and the amount of available annotations on the accuracy outcome of a liver segmentation problem in an abdominal computed tomography (CT) image database. In controlled experiments, we study this impact for different types of weak annotations. To address the decrease in accuracy associated with lower expertise, we propose a method for outlier correction making use of a weakly labelled atlas. Using this approach, we demonstrate that weak annotations subject to high error rates can achieve a similarly high accuracy as state-of-the-art multi-atlas segmentation approaches relying on a large amount of expert manual segmentations. Annotations of this nature can realistically be obtained from a non-expert crowd and can potentially enable crowdsourcing of weak annotation tasks for medical image analysis.

연구 동기 및 목표

• 약한 주석을 사용할 때 주석 전문성과 주석 빈도가 간장 분할 정확도에 미치는 영향을 평가하기 위해.
• 비전문가 대중으로부터의 약한 주석이 전문가 레이블 데이터 수준의 높은 분할 정확도를 달성할 수 있는지 조사하기 위해.
• 낮은 전문성 수준의 주석자로부터 오는 오류 주석을 보정하기 위해 약한 레이블이 부여된 애틀라스를 활용한 강건한 이상치 보정 방법을 개발하고 검증하기 위해.
• 전문가 레이블 데이터 의존도를 줄임으로써 확장 가능하고 비용 효율적인 의료 영상 분할을 가능하게 하기 위해.

제안 방법

• 이 방법은 연속적인 최대 유량 분할 프레임워크에 입력으로서 경계 상자(BD), 스크래치(PS), 사전 분할(PS) 등의 약한 주석을 사용한다.
• 약한 주석을 통합하여 약한 레이블이 부여된 애틀라스를 구축하여 이상치 주석 탐지 및 보정을 위한 기준으로 활용한다.
• 각 주석의 일관성과 애틀라스 간의 비교를 통해 이상치 주석을 식별하고 제거하거나 수정한다.
• 공간 제약 조건을 약한 주석으로부터 통합하여 병렬 복셀 수준의 레이블링을 유도하는 연속적인 최대 유량 알고리즘을 사용해 분할을 수행한다.
• 성능 평가 시 DSC(Dice Similarity Coefficient)를 사용하여 다양한 주석 오류율(ERR)과 주석 빈도(AR) 조건에서 성능을 측정한다.
• 최신 기술 수준의 다중 애틀라스 분할 방법과 비교하기 위해 복부 CT 간장 분할 데이터셋에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비전문가 주석자로부터의 약한 주석이 간장 CT 영상 분석에서 높은 분할 정확도를 달성할 수 있는가?
• RQ2 주석 오류율과 주석 빈도(빈도)가 분할 성능에 어떤 영향을 미치는가?
• RQ3 약한 레이블이 부여된 애틀라스가 낮은 전문성 수준의 사용자로부터 오는 잘못된 주석을 효과적으로 탐지하고 보정할 수 있는가?
• RQ4 높은 오류율을 가진 약한 주석을 사용할 경우, 이상치 보정이 분할 정확도 향상에 상당한 기여를 하는가?

주요 결과

• 이상치 보정을 통해 25% 주석 빈도와 최대 25% 오류율을 가진 직사각형 영역(RR) 주석이 DSC 94.3%를 달성하였으며, 전문가 수준의 다중 애틀라스 분할 성능과 유사하였다.
• 제안된 이상치 보정 방법은 고오류 상황(예: 50% ERR)에서 DSC 점수를 0.9점 이상 향상시켰으며, 50% 오류율에서도 DSC > 94%를 달성하였다.
• 보정 없이 고오류율(예: 25%)을 가진 주석을 사용할 경우, 고주석 빈도(예: 100%)에서도 DSC가 0.8 이하로 떨어져 오류 누적로 인한 분할 실패가 발생함을 확인하였다.
• 경계 상자(BD)와 사전 분할(PS)은 25% 주석 빈도까지 강건성을 유지하였지만, 고오류율에서는 오류 보정이 정확도 유지에 필수적이었다.
• 낮은 오류율(예: 0% ERR)에서는 이상치 제거로 인해 주석 빈도 감소로 인해 DSC가 약간 감소하였지만, 고오류율에서는 전체적으로 성능 향상이 이루어졌다.
• RR 주석을 사용할 경우 100% 주석 빈도와 0% 오류율에서 최신 기술 수준의 DSC 94.6%를 달성하였으며, 완전히 지도 학습된 다중 애틀라스 방법과 동일한 성능을 보였다.