[논문 리뷰] Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks

Yash Bhalgat, Meet Shah외 1명|arXiv (Cornell University)|2018. 12. 29.

Advanced Neural Network Applications참고 문헌 6인용 수 16

한 줄 요약

이 논문은 완전 컨volution 네트워크를 통해 암시적 혼합 지도 학습을 이용한 예산 제약 하에 비용 최소화 프레임워크를 제안한다. 불확실성과 유사도를 고려한 선형 프로그래밍을 통해 최적의 애너테이션(밀도 있는 세그멘테이션, 경계 상자, 랜드마크)을 선택함으로써, 전체 지도 학습 대비 10배 낮은 애너테이션 비용으로 최신 기술 수준의 세그멘테이션 성능을 달성한다. 이는 JSRT 데이터셋에서 입증되었다.

ABSTRACT

For medical image segmentation, most fully convolutional networks (FCNs) need strong supervision through a large sample of high-quality dense segmentations, which is taxing in terms of costs, time and logistics involved. This burden of annotation can be alleviated by exploiting weak inexpensive annotations such as bounding boxes and anatomical landmarks. However, it is very difficult to extit{a priori} estimate the optimal balance between the number of annotations needed for each supervision type that leads to maximum performance with the least annotation cost. To optimize this cost-performance trade off, we present a budget-based cost-minimization framework in a mixed-supervision setting via dense segmentations, bounding boxes, and landmarks. We propose a linear programming (LP) formulation combined with uncertainty and similarity based ranking strategy to judiciously select samples to be annotated next for optimal performance. In the results section, we show that our proposed method achieves comparable performance to state-of-the-art approaches with significantly reduced cost of annotations.

연구 동기 및 목표

• 밀도 있는 픽셀 수준의 세그멘테이션에 대한 높은 애너테이션 비용을 줄이기 위해 경계 상자와 랜드마크와 같은 약한, 저비용 지도 학습 유형을 활용하는 것.
• 고정된 예산 하에서 다양한 애너테이션 유형(세그멘테이션, 검출, 랜드마크) 간의 최적의 균형을 결정하는 과제를 해결하는 것.
• 비용을 최소화하면서 세그멘테이션 성능을 최대화하기 위해 다음 이미지와 애너테이션 유형을 동적으로 선택하는 암시적 애너테이션 전략을 개발하는 것.
• 불확실성 추정과 샘플 다양성을 혼합 지도 학습 환경에서의 비용 효율적인 능동 학습을 위한 선형 프로그래밍 프레임워크에 통합하는 것.

제안 방법

• 밀도 있는 세그멘테이션, 랜드마크 검출, 경계 상자 회귀를 위한 세 부분 네트워크를 갖춘 수정된 MS-Net 아키텍처를 사용하며, 각각의 네트워크는 불확실성 추정을 위한 콘크리트 드롭아웃으로 강화된다.
• 각기 다른 애너테이션 비용(C_s=10, C_d=1, C_l=7)과 각 애너테이션 유형의 가치 추정치(V_i)를 할당하며, 이는 각 애너테이션 유형의 경계 유사도 지표(IoU) 향상의 한계 기여도를 나타낸다.
• 불확실성(u(x))에 가중치를 두고 유사도(S(x,X_init))에 의해 벌점을 부과함으로써 다양성을 증진시키는 선형 프로그래밍(LP) 설정을 사용하여 총 가치 기여도를 최대화한다.
• 이 최적화는 이진 결정 변수 z(x)를 통해 각 이미지에 대한 애너테이션 유형을 선택하며, 총 예산 b에 의해 제약받으며, cvxpy를 사용하여 해결한다.
• 관측된 IoU 향상과 애너테이션 빈도에 기반한 가중 평균을 사용하여 가치 추정치 V_i를 동적으로 업데이트한다.
• 새로운 애너테이션 샘플을 X_init에 추가한 후 네트워크를 반복적으로 재학습함으로써, 예산 제약 하에서 점진적인 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 애너테이션 예산 하에서 세그멘테이션, 경계 상자, 랜드마크 애너테이션 간의 최적의 균형은 무엇이며, 이는 세그멘테이션 성능을 최대화하는가?
• RQ2 혼합 지도 학습 환경에서 불확실성과 샘플 다양성을 효과적으로 활용하여 비용 효율적인 의료 영상 세그멘테이션을 위한 애너테이션 선택을 유도할 수 있는가?
• RQ3 제안된 LP 기반의 애너테이션 제안 프레임워크는 성능-비용 트레이드오프 측면에서 최신 기술 수준의 능동 학습 및 혼합 지도 학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 약한 지도 학습(예: 경계 상자와 랜드마크)이 고비용의 밀도 있는 애너테이션을 얼마나 효과적으로 대체할 수 있으며, 이로 인해 높은 세그멘테이션 정확도를 유지할 수 있는가?

주요 결과

• 제안된 SMS-Net는 전체 지도 학습 대비 10배 낮은 애너테이션 비용으로 JSRT 데이터셋에서 최신 기술 수준의 세그멘테이션 성능를 달성한다.
• 엄격한 예산 제약 하에서, 이 방법은 저비용 애너테이션(경계 상자와 랜드마크)을 우선적으로 선택하며, 이는 성능 향상에 상당한 기여를 한다.
• 예산이 증가함에 따라, 이 방법은 더 높은 가치와 비용을 지닌 밀도 있는 세그멘테이션으로 자연스럽게 전환된다.
• LP 기반의 선택 전략은 모든 예산 수준에서 기준 방법보다 높은 IoU 성능를 보이며, 뛰어난 비용 효율성을 입증한다.
• 동적 가치 업데이트 메커니즘(V_i(t+1))은 관측된 성능 향상에 효과적으로 적응하여 향후 애너테이션 제안의 정확도를 향상시킨다.