[논문 리뷰] Learning to Segment Medical Images with Scribble-Supervision Alone

Yiğit Baran Can, Krishna Chaitanya외 4명|arXiv (Cornell University)|2018. 07. 12.

Medical Image Segmentation Techniques참고 문헌 5인용 수 10

한 줄 요약

이 논문은 조건부 랜덤 필드(CRFs)와 불확실성 추정을 활용하여 스크래치(annotation)만을 사용하는 의료 영상 의미 분할을 위한 약한 감독 학습 프레임워크를 제안한다. 희박한 감독 조건에서도 이 방법은 심장 및 전립선 데이터셋에서 각각 2.9%와 4.5%의 Dice 점수 저하를 보이며, 전문가의 최소한의 레이블링 노력으로도 거의 완전한 감독 성능을 달성함을 보여준다.

ABSTRACT

Semantic segmentation of medical images is a crucial step for the quantification of healthy anatomy and diseases alike. The majority of the current state-of-the-art segmentation algorithms are based on deep neural networks and rely on large datasets with full pixel-wise annotations. Producing such annotations can often only be done by medical professionals and requires large amounts of valuable time. Training a medical image segmentation network with weak annotations remains a relatively unexplored topic. In this work we investigate training strategies to learn the parameters of a pixel-wise segmentation network from scribble annotations alone. We evaluate the techniques on public cardiac (ACDC) and prostate (NCI-ISBI) segmentation datasets. We find that the networks trained on scribbles suffer from a remarkably small degradation in Dice of only 2.9% (cardiac) and 4.5% (prostate) with respect to a network trained on full annotations.

연구 동기 및 목표

• 완전한 픽셀 단위 레이블링이 아닌 스크래치 레이블만을 사용하여 완전 자동화된 픽셀 단위 분할 네트워크를 학습할 수 있도록 하는 것.
• 완전한 감독 기반 모델과 유사한 고성능 분할 모델을 얻기 위해 스크래치 레이블만으로도 충분한 성능을 낼 수 있는지 조사하는 것.
• CRF와 불확실성 추정을 활용한 반복적 학습 전략을 개발하고 평가하여 분할 정확도를 향상시키는 것.
• 최소한의 레이블링 노력으로도 실제 의료 영상 데이터셋에서 약한 감독 학습의 가능성을 입증하는 것.

제안 방법

• 이 방법은 반복적인 두 단계 프레임워크를 사용한다: 첫째, 초기 스크래치 레이블을 기반으로 CNN을 학습한다; 둘째, 네트워크의 예측 결과와 CRF를 조합하여 학습 세트의 개선된 가짜 레이블을 생성한다.
• 영역 확장 단계에서는 고임계수 랜덤 워크 기반 분할을 적용하여 높은 신뢰도의 예측을 가진 시드 영역를 생성하며, 불확실한 픽셀은 잠재 변수로 간주한다.
• 두 가지 CRF 전략을 평가한다: 수작업으로 조정된 매개변수를 가진 전통적인 밀도 CRF와 엔드 투 엔드로 CRF 매개변수를 최적화하는 학습 가능한 CRF-RNN.
• 불확실성은 몬테카를로 드롭아웃을 사용하여 추정하며, 이는 재레이블링 과정에 통합되어 예측의 강인성 향상과 과도한 확신 방지를 도모한다.
• 반복적 과정은 네트워크 가중치와 가짜 레이블을 번갈아 최적화하는 하드 기대최대화(EM) 근사로 해석된다.
• 이 프레임워크는 2D 슬라이스 수준의 학습 및 검증을 위해 ACDC(심장) 및 NCI-ISBI(전립선) 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 완전한 픽셀 단위 레이블링 없이 스크래치 레이블만을 사용하여 의료 영상에서 정확한 의미 분할을 수행할 수 있는 완전 컨volution 네트워크를 학습할 수 있는가?
• RQ2 약한 감독 조건에서 CRF와 불확실성 추정을 활용한 반복적 개선 전략은 분할 성능 향상에 얼마나 효과적인가?
• RQ3 실제 의료 영상 벤치마크에서 스크래치 레이블 기반 모델과 완전한 감독 기반 베이스라인 간의 Dice 점수 격차는 얼마인가?
• RQ4 학습 가능한 CRF-RNN 모듈을 통합할 경우 기존의 전통적 CRF보다 성능 향상이 이루어지는가?
• RQ5 불확실성 추정, CRF 개선, 반복적 학습 등 다양한 구성 요소들이 최종 분할 정확도에 개별적으로 및 상호 보완적으로 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 완전한 감독 기반 베이스라인 대비 심장 ACDC 데이터셋에서 2.9%의 Dice 점수 저하, 전립선 NCI-ISBI 데이터셋에서 4.5%의 저하를 기록하였다.
• 가장 우수한 성능을 보인 설정—불확실성 추정을 통합한 CRF-RNN—은 심장 구조에서 Dice 점수 0.880, 전립선 구조에서 0.781을 기록하여 모든 다른 변형보다 뛰어난 성능을 보였다.
• 몬테카를로 드롭아웃을 통한 불확실성 추정이 가장 큰 성능 향상을 가져왔으며, 기준 방법 대비 최대 0.015의 Dice 점수 향상을 기록하였다.
• 불확실성 추정 없이 CRF-RNN 모듈만을 사용한 경우, 별도의 CRF에 불확실성 추정을 적용한 것과 유사한 성능을 보였으며, 이는 RNN 내부의 개선 메커니즘이 이미 강건함을 시사한다.
• CRF-RNN에 불확실성 추정을 통합한 경우, 전립선 데이터셋에서는 성능 향상이 없었고 오히려 약간의 성능 저하가 발생했으며, 이는 RNN에서 유래한 비표준 로짓 분포 때문일 가능성이 높다.
• 반복적 학습 제어 방식은 비반복적 학습 방식보다 유의미하게 뛰어난 성능을 보였으며, 최고의 방법은 완전한 감독 모델의 95% 수준의 성능을 달성하였다.