[논문 리뷰] Fuzzy Semantic Segmentation of Breast Ultrasound Image with Breast Anatomy Constraints

Kuan Huang, Yingtao Zhang외 3명|arXiv (Cornell University)|2019. 09. 14.

AI in cancer detection참고 문헌 40인용 수 7

한 줄 요약

이 논문은 흐린 논리와 완전 컨volution 네트워크(FCN)를 통합하고 조건부 랜덤 필드(CRF)를 통해 유방 해부학적 제약 조건을 적용한 흐린 의미 분할 프레임워크를 제안한다. 이미지 대비를 향상시키고 웨이블릿 기반 증강 기법을 적용하며, 특징에 흐린 소속 함수를 적용함으로써, 종양 분할에서 90.33%의 TPR, 9.00%의 FPR, 81.29%의 IoU를 달성하여 최신 기술 수준(SOTA)의 성능을 보이며, 종양이 없는 경우나 다중 종양이 있는 경우에도 다수의 조직층을 정확하게 분할한다.

ABSTRACT

Breast cancer is one of the most serious disease affecting women's health. Due to low cost, portable, no radiation, and high efficiency, breast ultrasound (BUS) imaging is the most popular approach for diagnosing early breast cancer. However, ultrasound images are low resolution and poor quality. Thus, developing accurate detection system is a challenging task. In this paper, we propose a fully automatic segmentation algorithm consisting of two parts: fuzzy fully convolutional network and accurately fine-tuning post-processing based on breast anatomy constraints. In the first part, the image is preprocessed by contrast enhancement, and wavelet features are employed for image augmentation. A fuzzy membership function transforms the augmented BUS images into fuzzy domain. The features from convolutional layers are processed using fuzzy logic as well. The conditional random fields (CRFs) post-process the segmentation result. The location relation among the breast anatomy layers is utilized to improve the performance. The proposed method is applied to the dataset with 325 BUS images, and achieves state-of-art performance compared with that of existing methods with true positive rate 90.33%, false positive rate 9.00%, and intersection over union (IoU) 81.29% on tumor category, and overall intersection over union (mIoU) 80.47% over five categories: fat layer, mammary layer, muscle layer, background, and tumor.

연구 동기 및 목표

• 정확한 분할을 방해하는 유방 초음파(BUS) 영상에서 낮은 이미지 품질, 노이즈 및 스펙클 아티팩트 문제를 해결하기 위해.
• 원시 영상과 특징 맵에서의 불확실성을 흐린 논리로 모델링하여 BUS 영상에서 의미 분할의 강건성을 향상시키기 위해.
• 후처리 단계에 유방 조직층(지방, 유선, 근육, 배경, 종양)의 해부학적 제약 조건을 통합하여 분할 정확도를 향상시키기 위해.
• 작은 데이터셋에서 잘 작동하고 다양한 이미지 품질과 종양 구성에 일반화되는 완전 자동화된 방법을 개발하기 위해.
• 기존 방법이 처리하지 못하는 복잡한 케이스, 즉 종양이 없는 이미지나 다중 종양이 있는 이미지에서 정확한 분할을 가능하게 하기 위해.

제안 방법

• 이미지 대비 향상 및 웨이블릿 기반 특징 증강을 통해 BUS 영상 전처리를 수행하여 질감과 강도 일관성을 향상시킨다.
• 컨volution 레이어에서 유도된 증강된 영상과 특징 맵을 흐린 소속 함수를 사용하여 흐린 도메인으로 변환하여 불확실성을 모델링한다.
• 흐린 완전 컨볼루션 네트워크(fuzzy FCN)를 활용해 초기 분할 맵을 생성하며, 흐린 논리를 통해 강건한 특징 표현을 구현한다.
• 특히 지방층이 유선층에 인접해 있다는 등의 유방 조직층 간 공간적 관계를 고려한 해부학적 제약 조건을 적용한 조건부 랜덤 필드(CRF)를 사용하여 분할 결과를 정밀하게 다듬는다.
• 유방 해부학의 사전 지식을 인코딩한 다중 클래스 CRF 모델을 사용하여 픽셀 단위의 분류를 안내하고 구조적 타당성을 강제한다.
• 데이터 적합성과 해부학적 일관성을 균형 잡는 공동 최적화를 통해 분할 출력을 정밀하게 조정함으로써 IoU를 향상시키고 가짜 양성 결과를 감소시킨다.

실험 결과

연구 질문

• RQ1 흐린 논리가 낮은 품질의 BUS 영상에서 불확실성을 효과적으로 모델링하고, 기존의 표준 딥 러닝 접근 방식에 비해 분할 강건성을 향상시키는가?
• RQ2 CRF 후처리 단계에 유방 조직층의 해부학적 제약 조건을 통합할 경우 분할 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 광범위한 영상 획득 조건에서 광범위한 재학습 없이도 작은 데이터셋에서 높은 성능을 달성하고 일반화할 수 있는가?
• RQ4 기존의 완전 자동화된 방법이 처리하지 못하는 도전적인 케이스, 즉 종양이 없는 이미지나 다중 종양이 있는 이미지에서 이 방법의 성능은 어떠한가?
• RQ5 비흐린 또는 제약 조건이 없는 기준 대비로 흐린 특징과 해부학 인식 CRF를 사용할 경우 IoU는 얼마나 향상되고, 가짜 양성 비율은 얼마나 감소하는가?

주요 결과

• 제안된 방법은 종양 분할에서 진성 양성률(TPR) 90.33%와 가짜 양성률(FPR) 9.00%를 달성하여 기존의 반자동 및 완전 자동화 방법을 능가한다.
• 종양 분할에서 교차율(IoU)은 81.29%이며, 지방층, 유선층, 근육층, 배경, 종양의 다섯 가지 카테고리에 대한 평균 IoU(mIoU)는 80.47%이다.
• 종양이 없는 이미지에서 모든 조직층을 성공적으로 분할하였으며, 이는 이전의 완전 자동화 방법이 배경을 종양으로 잘못 레이블링하여 가짜 양성 결과를 생성한 것과 대비된다.
• 다중 종양 케이스에 대해서도 잘 일반화되어, 이미지당 두 개의 종양을 정확히 식별하고 분할하였으며, 기존 방법은 한 이미지당 한 개의 종양만 탐지하였다.
• 흐린 논리와 해부학 인식 CRF의 통합은 특히 저대비 및 노이즈가 많은 영상에서 강건성과 정확도를 크게 향상시켰다.
• 相대적으로 작은 325장의 BUS 영상 데이터셋에서도 뛰어난 성능을 보이며, 강력한 일반화 능력과 낮은 데이터 의존도를 입증하였다.