[논문 리뷰] Mixed-Supervised Dual-Network for Medical Image Segmentation

Duo Wang, Ming Li외 5명|arXiv (Cornell University)|2019. 07. 24.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 약한 레이블링된 바운딩 박스에서 밀도 높은 분할 성능을 향상시키기 위해 지식을 전달하는 Squeeze-and-Excitation(sSE) 모듈을 사용해 분할 네트워크와 탐지 네트워크를 공동으로 훈련하는 혼합-감독 이중-네트워크(MSDN)를 제안한다. MSDN은 폐 결절 및 미세한 구조 분할 작업에서 여러 기준 모델들을 능가하며, 특히 낮은 감독 환경에서 뛰어난 안정성과 강건성을 보여주어 혼합-감독 학습의 잠재력을 입증한다.

ABSTRACT

Deep learning based medical image segmentation models usually require large datasets with high-quality dense segmentations to train, which are very time-consuming and expensive to prepare. One way to tackle this challenge is by using the mixed-supervised learning framework, in which only a part of data is densely annotated with segmentation label and the rest is weakly labeled with bounding boxes. The model is trained jointly in a multi-task learning setting. In this paper, we propose Mixed-Supervised Dual-Network (MSDN), a novel architecture which consists of two separate networks for the detection and segmentation tasks respectively, and a series of connection modules between the layers of the two networks. These connection modules are used to transfer useful information from the auxiliary detection task to help the segmentation task. We propose to use a recent technique called "Squeeze and Excitation" in the connection module to boost the transfer. We conduct experiments on two medical image segmentation datasets. The proposed MSDN model outperforms multiple baselines.

연구 동기 및 목표

• 밀도 높은 분할 마스크와 약한 바운딩 박스 레이블을 모두 활용하여 완전히 레이블링된 의료 영상 데이터셋의 높은 비용과 부족함을 해결한다.
• 기존의 약한 감독 방법이 반복적 개선 또는 사전 지식에 의존하는 한계를 극복하여 임상 적용에서의 확장성을 높인다.
• 보조 탐지 작업에서 주 분할 작업으로의 효과적인 지식 전달을 가능하게 하는 새로운 이중-네트워크 아키텍처를 개발한다.
• 교차 네트워크 연결에 주의 메커니즘(sSE)을 통합하여 낮은 감독 조건에서도 분할 성능을 향상시킨다.
• 두 개의 의료 영상 데이터셋에서 다중 스트림 및 단일 스트림 기준 모델들과 비교해 안정적이고 뛰어난 성능을 달성한다.

제안 방법

• 분할과 객체 탐지에 각각 전용 스트림을 갖춘 이중-네트워크 아키텍처를 설계하여 공유 백본을 피함으로써 작업별 최적화를 가능하게 한다.
• 두 네트워크의 대응 레이어 간에 연결 모듈을 도입하여 탐지 스트림에서 분할 스트림으로 유용한 특징을 전달한다.
• 연결 모듈에 이진 Squeeze-and-Excitation(sSE) 모듈을 통합하여 채널 및 공간 주의를 기반으로 특징 맵을 동적으로 재조정한다.
• sSE 모듈을 통해 탐지 특징에서 정보가 많은 채널과 공간 영역을 강조하여 분할 작업에 대한 관련성을 향상시킨다.
• 탐지 및 분할 헤드 양쪽에 교차 엔트로피 손실과 Dice 손실을 사용하여 다중 작업 학습 설정에서 모델을 종합적으로 훈련시킨다.
• 일반화 성능 향상과 과적합 방지를 위해 데이터 증강, 정규화, 드롭아웃, 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 분할과 탐지에 각각 전용 스트림을 갖춘 이중-네트워크 아키텍처가 혼합-감독 의료 영상 분할 성능 향상에 기여하는가?
• RQ2 네트워크 간 연결 레이어에 Squeeze-and-Excitation 모듈을 통합하면 특징 전달과 분할 정확도가 향상되는가?
• RQ3 단지 소수의 데이터만 밀도 높은 레이블링이 되어 있을 경우, 제안된 MSDN 모델은 완전 감독 및 약한 감독 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ4 강한 레이블링 데이터와 약한 레이블링 데이터의 비율이 다양할 경우 모델은 안정적인 성능을 유지하는가?
• RQ5 교차 네트워크 연결에 이진 sSE 모듈을 사용하면 단일 sSE 또는 주의 메커니즘이 없는 경우보다 더 나은 특징 재조정이 이루어지는가?

주요 결과

• 코ilha 데이터셋의 44-22 분할에서 MSDN은 평균 테스트 Dice 스코어 83.58% ± 1.20을 기록하여 동일 분할에서 U-Net(87.91% ± 0.28)과 Variant MS-Net(87.54% ± 0.36)을 능가한다.
• 폐 결절 데이터셋의 80-80 분할에서 MSDN은 83.01% ± 0.69의 Dice 스코어를 기록하여 U-Net(80.51% ± 0.59)과 Variant MS-Net(81.72% ± 1.19)을 앞서간다.
• 낮은 감독 환경(예: 코ilha에서 11-55 분할)에서도 MSDN은 85.60% ± 1.76의 Dice 스코어를 유지하며, U-Net(80.85% ± 0.42)과 Variant MS-Net(82.60% ± 1.43)을 크게 앞서간다.
• 탐지 스트림가 제거된 추론 변형인 MSDN-는 전체 MSDN보다 성능이 낮게 나타나 탐지 스트림과 sSE 모듈의 유용성을 확인한다.
• U-Net에 단일 sSE를 추가하면 성능 향상이 약간 이루어지지만, 전체 MSDN 아키텍처만큼 효과적이지는 않아 이중-네트워크와 구조화된 주의 메커니즘이 열등함을 시사한다.
• 정성적 결과에서는 복잡한 해부학적 영역에서 대비가 낮은 경우에도 MSDN이 기준 모델보다 더 정확하고 완전한 분할 맵을 생성하는 것으로 나타났다.