[논문 리뷰] Towards more precise automatic analysis: a comprehensive survey of deep learning-based multi-organ segmentation

Xiaoyu Liu, Linhao Qu외 4명|arXiv (Cornell University)|2023. 03. 01.

COVID-19 diagnosis using AI인용 수 9

한 줄 요약

이 논문은 2016–2022년의 머리와 목, 흉부, 복부를 아우르는 딥 러닝 기반 다기관 분할을 조사하고, 전체 주석과 불완전 주석(약한 주석/반주석) 접근법, 데이터 세트, 아키텍처 및 추세를 비교합니다. 161건의 연구를 집계하고 도전 과제, 데이터 세트 및 향후 방향에 대해 논의합니다.

ABSTRACT

Accurate segmentation of multiple organs of the head, neck, chest, and abdomen from medical images is an essential step in computer-aided diagnosis, surgical navigation, and radiation therapy. In the past few years, with a data-driven feature extraction approach and end-to-end training, automatic deep learning-based multi-organ segmentation method has far outperformed traditional methods and become a new research topic. This review systematically summarizes the latest research in this field. For the first time, from the perspective of full and imperfect annotation, we comprehensively compile 161 studies on deep learning-based multi-organ segmentation in multiple regions such as the head and neck, chest, and abdomen, containing a total of 214 related references. The method based on full annotation summarizes the existing methods from four aspects: network architecture, network dimension, network dedicated modules, and network loss function. The method based on imperfect annotation summarizes the existing methods from two aspects: weak annotation-based methods and semi annotation-based methods. We also summarize frequently used datasets for multi-organ segmentation and discuss new challenges and new research trends in this field.

연구 동기 및 목표

• 머리 및 목, 흉부, 복부 전역에 걸친 최신 딥 러닝 기반 다기관 분할 방법을 체계적으로 요약한다.
• 전체 주석 방법과 불완전 주석(약한/반주석) 방법을 구분한다.
• 이 분야에서 사용되는 일반적인 데이터 세트와 평가 지표를 정리한다.
• 성능을 좌우하는 네트워크 구조, 차원, 모듈 및 손실 함수 분석.
• 다기관 분할의 도전과제, 트렌드 및 향후 연구 방향을 논의한다.

제안 방법

• 전체 주석과 불완전 주석 범주로 방법을 분류한다.
• 전체 주석 내에서: 네트워크 아키텍처, 차원, 전용 모듈, 손실 함수를 분석한다.
• 불완전 주석 내에서: 약한 및 반주석 전략을 분석한다.
• 평가를 위한 데이터 세트와 평가 지표(DSC, HD95, MSD)를 요약한다.
• CNN, GAN, 트랜스포머, 하이브리드 및 계단식/다단계 접근을 포함한 구조를 조사한다.
• 대략-정밀(coarse-to-fine), 로컬라이제이션+분할, Localization-driven cascades 같은 트렌드를 강조한다.
• 방법을 지역(머리/목, 흉부, 복부)별로 비교하기 위한 표 II–X, 보충 표를 포함한 조직적 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 머리 및 목, 흉부, 복부 전역에서 사용된 주요 딥 러닝 다기관 분할 아키텍처는 무엇인가?
• RQ2 전체 주석 방법과 불완전 주석(약한/반주석) 방법은 성능과 실용성 측면에서 어떻게 비교되는가?
• RQ3 이 분야에서 우세한 데이터 세트와 평가 지표는 무엇이며 현재의 격차나 한계는 무엇인가?
• RQ4 큰 장기와 작은 장기에 대한 개선을 주도하는 아키텍처적 테마(예: 대략-정밀, 로컬라이제이션-분할 캐스케이드, CNN/트랜스포머 하이브리드)는 무엇인가?
• RQ5 미래 연구를 형성하는 새로운 트렌드와 도전과제는 무엇인가?

주요 결과

• 딥 러닝 방법이 영역 간 다기관 분할에서 전통적 접근법을 크게 능가했다.
• 트랜스포머 및 하이브리드 CNN-트랜스포머 구조가 글로벌 컨텍스트 및 작은 기관 로컬라이제이션에 대응하는 새로운 접근 중 하나이다.
• 캐스케이드 및 대략-정밀 전략은 작은 기관 및 배경 간섭을 줄이기 위해 로컬라이제이션 다음 분할을 포함하는 방식으로 널리 사용된다.
• 불완전 주석 전략(약한 주석 및 반주석)은 데이터 세트의 한계와 주석 부족 문제를 다루기 위해 분석되었다.
• 머리/목, 흉부, 복부를 포함한 다양한 모달리티와 주석이 있는 데이터 세트가 있지만, DL 모델용으로 주석된 데이터는 상대적으로 제한적이다.
• 이 연구는 사용된 구조, 모듈 및 손실 함수에 대한 체계적인 개요를 제공하고, 해부학적 변이, 이미지 품질 및 일반화의 도전과제를 논의한다.