[논문 리뷰] Every Annotation Counts: Multi-label Deep Supervision for Medical Image Segmentation

Simon Reiß, Constantin Seibold외 3명|arXiv (Cornell University)|2021. 04. 27.

Advanced Neural Network Applications참고 문헌 64인용 수 14

한 줄 요약

이 논문은 다중 supervision 유형—픽셀 단위 마스크, 경계 상자, 글로벌 레이블 및 레이블이 없는 데이터—을 새로운 다중 레이블 딥 서포비전 메커니즘과 평균-티처 학생-선생 모델을 통해 활용하는 혁신적인 반-약한 supervision 기반 딥 러닝 프레임워크를 제안한다. 이 방법은 고비용의 픽셀 단위 마스크 레이블을 94.22% 감소시키며, 오직 5.78%의 강한 레이블만으로 완전 supervision 기반 베이스라인의 95% 성능을 달성한다.

ABSTRACT

Pixel-wise segmentation is one of the most data and annotation hungry tasks in our field. Providing representative and accurate annotations is often mission-critical especially for challenging medical applications. In this paper, we propose a semi-weakly supervised segmentation algorithm to overcome this barrier. Our approach is based on a new formulation of deep supervision and student-teacher model and allows for easy integration of different supervision signals. In contrast to previous work, we show that care has to be taken how deep supervision is integrated in lower layers and we present multi-label deep supervision as the most important secret ingredient for success. With our novel training regime for segmentation that flexibly makes use of images that are either fully labeled, marked with bounding boxes, just global labels, or not at all, we are able to cut the requirement for expensive labels by 94.22% - narrowing the gap to the best fully supervised baseline to only 5% mean IoU. Our approach is validated by extensive experiments on retinal fluid segmentation and we provide an in-depth analysis of the anticipated effect each annotation type can have in boosting segmentation performance.

연구 동기 및 목표

• 전문가가 레이블링한 픽셀 단위 마스크가 시간이 오래 걸리고 희소한 의료 영상 분할에서 높은 레이블링 비용 문제를 해결한다.
• 표준 약한 supervision 또는 반-supervision 학습의 한계를 극복하기 위해 픽셀 단위, 경계 상자, 글로벌 레이블, 레이블이 없는 데이터 등 다양한 supervision 신호를 하나의 훈련 프레임워크에 통합한다.
• 낮은 데이터 환경에서의 학습 안정성과 일반화 능력을 향상시키기 위해 딥 서포비전과 가짜 레이블링을 활용한 견고한 훈련 제도를 개발한다.
• 딥 서포비전을 하위 네트워크 레이어에 효과적으로 통합하는 것이 성능에 결정적인 영향을 미치며, 특히 저샘플링 설정에서 중요함을 입증한다.

제안 방법

• 다중 레이블 교차 엔트로피 손실을 사용해 중간 레이어에 supervision 신호를 주입하는 새로운 딥 서포비전 형식인 다중 레이블 딥 서포비전을 도입한다.
• 레이블이 없는 이미지 및 약한 레이블이 있는 이미지에 대해 강력한 가짜 레이블을 생성하기 위해 평균-티처 학생-선생 모델을 적용하여 모델 일반화 능력을 향상시킨다.
• 완전 레이블, 경계 상자, 글로벌 레이블, 레이블이 없는 데이터를 하나의 엔드 투 엔드 훈련 프로세스에서 혼합 supervision을 지원하는 유연한 훈련 파이프라인을 설계한다.
• 낮은 데이터 시나리오에서 안정적이고 재현 가능한 평가를 확보하기 위해 다중 데이터 분할과 표준편차 보고를 포함한 반복적 훈련을 수행한다.
• 최종 출력 뿐 아니라 저해상도이자 더 깊은 레이어에도 딥 서포비전을 통합하여 특징 학습과 기울기 흐름을 향상시킨다.
• 픽셀 단위 레이블이 희소할 경우를 대비해 수정된 MIL 유사 접근법을 통해 글로벌 이미지 수준 레이블을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 픽셀 단위, 경계 상자, 글로벌 레이블, 레이블이 없는 데이터 등 다양한 유형의 약한 및 부분적 supervision을 하나의 분할 훈련 프레임워크에 효과적으로 통합할 수 있는가?
• RQ2 저데이터 환경에서 하위 네트워크 레이어에 딥 서포비전을 통합할 경우 분할 성능에 어떤 영향을 미치는가?
• RQ3 의료 영상 분할에서 다중 레이블 딥 서포비전과 결합된 평균-티처 모델이 가짜 레이블링을 통해 성능을 크게 향상시킬 수 있는가?
• RQ4 모델 성능을 손상시키지 않으면서 고비용의 픽셀 단위 레이블 수를 어느 정도까지 줄일 수 있는가?

주요 결과

• 전체 픽셀 단위 레이블의 5.78%에 해당하는 24개(평균 415.5개 마스크 중)의 레이블만으로도 Cirrus 데이터셋에서 45.85% mIoU를 달성하여 완전 supervision 기반 베이스라인의 95% 성능을 달성한다.
• 완전 supervision 기반 베이스라인 대비 고비용 픽셀 단위 레이블 수요를 94.22% 감소시켰으며, 성능 격차를 크게 좁혔다.
• 다중 레이블 딥 서포비전은 표준 교차 엔트로피 supervision 대비 다양한 데이터 환경에서 mIoU를 3.18%에서 7.57%까지 향상시켰다.
• 오직 6개의 픽셀 단위 마스크와 글로벌 레이블만으로도, 전체 경계 상자 레이블링을 사용한 모델보다도 성능이 뛰어나, 제안된 supervision 통합 전략의 강력함을 입증한다.
• 10개의 훈련 분할을 사용했을 때 Cirrus에서 35.82% mIoU, Topcon에서 45.85% mIoU를 기록하여 다양한 OCT 스캐너 제조사 간에도 뛰어난 일반화 능력을 보였다.
• 제거 실험 결과, 하위 레이어에서의 딥 서포비전이 핵심임을 확인—특히 저샘플링 설정에서 이를 생략할 경우 성능이 크게 떨어진다.