[논문 리뷰] Semantic-Transferable Weakly-Supervised Endoscopic Lesions Segmentation

Jiahua Dong, Yang Cong외 2명|arXiv (Cornell University)|2019. 08. 21.

Colorectal Cancer Screening and Detection참고 문헌 43인용 수 9

한 줄 요약

이 논문은 초점 망막 내시경 영상에서의 병변 세분화를 위한 의미 전이 가능한 약한 지도 학습 모델을 제안한다. 이 모델은 슈퍼픽셀 사전 지식과 클래스 균형을 활용해 가짜 레이블을 생성하고, 반복적으로 전이가 어려운 샘플을 약한 레이블이 있는 타겟 데이터로부터 점진적으로 포함시킨다. 또한, 소스(위내시경)와 타겟(장내시경) 데이터셋 간에 동적으로 탐색된 특징 중심점을 정렬하고, 도메인 간 차이를 줄이기 위해 적대적 학습을 사용하여, 새로운 내시경 데이터셋과 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. mIoU는 최대 6.8% 향상되었다.

ABSTRACT

Weakly-supervised learning under image-level labels supervision has been widely applied to semantic segmentation of medical lesions regions. However, 1) most existing models rely on effective constraints to explore the internal representation of lesions, which only produces inaccurate and coarse lesions regions; 2) they ignore the strong probabilistic dependencies between target lesions dataset (e.g., enteroscopy images) and well-to-annotated source diseases dataset (e.g., gastroscope images). To better utilize these dependencies, we present a new semantic lesions representation transfer model for weakly-supervised endoscopic lesions segmentation, which can exploit useful knowledge from relevant fully-labeled diseases segmentation task to enhance the performance of target weakly-labeled lesions segmentation task. More specifically, a pseudo label generator is proposed to leverage seed information to generate highly-confident pseudo pixel labels by incorporating class balance and super-pixel spatial prior. It can iteratively include more hard-to-transfer samples from weakly-labeled target dataset into training set. Afterwards, dynamically searched feature centroids for same class among different datasets are aligned by accumulating previously-learned features. Meanwhile, adversarial learning is also employed in this paper, to narrow the gap between the lesions among different datasets in output space. Finally, we build a new medical endoscopic dataset with 3659 images collected from more than 1100 volunteers. Extensive experiments on our collected dataset and several benchmark datasets validate the effectiveness of our model.

연구 동기 및 목표

• 제한된 지도 정보로 인해 약한 지도 학습 의료 영상 분석에서 병변 세분화가 브러시하고 정확도가 떨어지는 문제를 해결하기 위해.
• 강력하게 레이블링된 소스 데이터셋(예: 위내시경)과 약한 레이블링된 타겟 데이터셋(예: 장내시경) 간의 강력한 확률적 상관관계를 활용하여 세분화 성능을 향상시키기 위해.
• 모델이 타겟 데이터로부터 고신뢰도 가짜 레이블을 점진적으로 추출하면서도 클래스 균형과 공간 일관성을 유지할 수 있는 방법을 개발하기 위해.
• 소스 및 타겟 데이터셋 간의 도메인 간 차이를 줄이기 위해 동적으로 업데이트되는 특징 중심점을 정렬하고, 출력 공간에서 적대적 학습을 적용하기 위해.

제안 방법

• 초기 영역, 클래스 균형, 슈퍼픽셀 공간 사전 지식을 활용해 카테고리 우세 현상을 방지하면서도 높은 신뢰도의 픽셀 수준 레이블을 생성하는 가짜 레이블 생성기가 설계되었다.
• 반복적인 가짜 레이블링을 통해 타겟 데이터셋의 전이가 어려운 샘플이 점차적으로 학습에 포함되어 모델의 일반화 능력이 향상된다.
• 각 클래스에 대해 동적으로 탐색된 특징 중심점을 이전에 학습된 특징과 가짜 레이블을 누적하여 소스 및 타겟 데이터셋 간에 정렬한다.
• 출력 공간에서 적대적 학습을 적용하여 소스 및 타겟 세분화 예측 간의 분포 격차를 최소화한다.
• 가짜 레이블링, 특징 중심점 정렬, 적대적 학습을 통합된 프레임워크 내에서 통합하여 전이 가능성을 향상시킨다.
• 평가를 위해 1,100명 이상의 자원자로부터 확보한 3,659장의 이미지로 구성된 새로운 내시경 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 슈퍼픽셀 사전 지식과 클래스 균형을 활용한 가짜 레이블 생성은 약한 지도 학습 병변 세분화의 품질과 커버리지 향상에 기여하는가?
• RQ2 소스 및 타겟 데이터셋의 특징 중심점을 얼마나 효과적으로 정렬하여 내시경 병변 세분화에서 도메인 간 차이를 줄일 수 있는가?
• RQ3 출력 공간에서의 적대적 학습은 다양한 내시경 영상 모odalities 간에 약한 지도 학습 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 완전히 레이블링된 소스 데이터셋(예: 위내시경)에서의 전이 학습이 약한 레이블링된 타겟 데이터셋(예: 장내시경)에서 성능 향상에 크게 기여하는가?
• RQ5 제안된 모델은 mIoU와 전이가 어려운 클래스에 대한 강건성 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 새로 구축한 내시경 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, mIoU는 47.2%로 이전 방법들을 능가하였다.
• GTA-to-Cityscapes 벤치마크에서 기존 최신 기술 수준의 방법들과 비교해 mIoU가 최대 6.8% 향상되었다.
• SYNTHIA-to-Cityscapes 벤치마크에서 모델은 mIoU 46.7%를 기록했으며, 벽, 기둥, 자전거와 같은 전이가 어려운 클래스에서도 뛰어난 성능를 보였다.
• 절단 실험 결과 가짜 레이블 생성기, 특징 중심점 정렬, 슈퍼픽셀 사전 지식 구성 요소 각각이 성능 향상에 기여하는 것으로 확인되었다.
• 모델은 도메인 간 이동에 따라 전이가 쉬운(예: 도로, 하늘) 및 전이가 어려운(예: 교통 표지판, 오토바이) 클래스 모두에서 강건성을 보였다.
• 적대적 학습과 동적 특징 중심점 정렬의 포함은 이러한 구성 요소가 없는 기준 모델 대비 mIoU 1.5–2.5% 향상되었다.