[논문 리뷰] Less Is More: A Comparison of Active Learning Strategies for 3D Medical Image Segmentation

Josafat-Mattias Burmeister, Marcel Fernandez Rosas외 6명|arXiv (Cornell University)|2022. 07. 02.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 3D 의료 영상 분할을 위한 주동 학습 전략을 평가하며, 불확실성 기반 예측에서 공간 보간을 활용해 가짜 레이블을 생성하는 스트라이드 샘플링 방법을 제안한다. 두 가지 기준 샘플링(랜덤 샘플링 및 제안된 스트라이드 샘플링)이 강력한 베이스라인으로 기능하며, 후자는 3D 영상의 구조를 활용하여 성능을 향상시킨다. 또한 다양한 데이터셋 간 재현 가능한 비교를 위한 오픈소스 벤치마킹 프레임워크를 제공한다.

ABSTRACT

Since labeling medical image data is a costly and labor-intensive process, active learning has gained much popularity in the medical image segmentation domain in recent years. A variety of active learning strategies have been proposed in the literature, but their effectiveness is highly dependent on the dataset and training scenario. To facilitate the comparison of existing strategies and provide a baseline for evaluating novel strategies, we evaluate the performance of several well-known active learning strategies on three datasets from the Medical Segmentation Decathlon. Additionally, we consider a strided sampling strategy specifically tailored to 3D image data. We demonstrate that both random and strided sampling act as strong baselines and discuss the advantages and disadvantages of the studied methods. To allow other researchers to compare their work to our results, we provide an open-source framework for benchmarking active learning strategies on a variety of medical segmentation datasets.

연구 동기 및 목표

• 3D 의료 영상 분할 작업에 대해 기존의 주동 학습 전략—불확실성 샘플링, 대표성 샘플링, 랜덤 샘플링—을 평가하고 비교하는 것.
• 3D 영상 슬라이스 간 보간을 통해 가짜 레이블을 생성하는 새로운 스트라이드 샘플링 전략을 제안하고, 라벨링 효율성을 향상시키기 위해 평가하는 것.
• 세 개의 Medical Segmentation Decathlon 데이터셋에서 랜덤 샘플링과 스트라이드 샘플링이 복잡한 주동 학습 방법보다 우수하거나 동등한 성능을 보임을 보여주어 향후 연구를 위한 강력한 베이스라인을 확립하는 것.
• 다양한 3D 의료 분할 데이터셋에서 주동 학습 전략의 재현 가능한 평가를 위한 오픈소스 벤치마킹 프레임워크를 제공하는 것.

제안 방법

• 불확실성 기반으로 비접촉 3D 영상 슬라이스를 선택하는 스트라이드 샘플링 전략을 제안하며, 이를 바탕으로 보간을 통해 가짜 레이블을 생성한다.
• 가장 불확실한 예측을 식별하기 위해 최소 신뢰도와 샤논 엔트로피를 활용한 불확실성 샘플링을 사용한다.
• 가짜 레이블 생성을 위해 서명 거리 및 형태학적 윤곽 보간 기법 두 가지를 적용하여 데이터 다양성과 모델 일반화 능력을 향상시킨다.
• 분할에 3D U-Net 아키텍처를 사용하고, 여러 주동 학습 반복 동안 Dice 점수를 통해 성능을 평가한다.
• 샘플링 슬라이스 간 간격을 제어하기 위해 블록 크기 하이퍼파라미터를 도입하였으며, 블록 크기 5, 10, 15에 대한 분석을 수행하였다.
• 다양한 데이터셋, 모델, 쿼리 전략 간 평가를 표준화하기 위해 오픈소스 벤치마킹 프레임워크(active-segmentation)를 개발하였다.

실험 결과

연구 질문

• RQ1 여러 3D 의료 영상 데이터셋에서 불확실성 샘플링, 대표성 샘플링, 랜덤 샘플링의 분할 성능를 어떻게 비교할 수 있는가?
• RQ2 보간 기반의 스트라이드 샘플링 전략이 3D 의료 영상 분할에서 기존 주동 학습 방법보다 우월한가?
• RQ3 서명 거리 및 형태학적 윤곽 보간 기법과 같은 다양한 보간 기법이 가짜 레이블 품질과 후속 분할 정확도에 미치는 영향은 무엇인가?
• RQ4 스트라이드 샘플링의 블록 크기가 모델 성능과 라벨링 효율성에 어떤 영향을 미치는가?
• RQ5 랜덤 샘플링과 스트라이드 샘플링이 향후 3D 의료 영상 주동 학습 연구에서 강력한 베이스라인으로서 얼마나 유용한가?

주요 결과

• 심장 데이터셋에서 형태학적 윤곽 보간과 블록 크기 15를 사용한 스트라이드 샘플링은 50회의 주동 학습 반복 시 Dice 점수 0.552 ± 0.030를 기록하며, 대부분의 불확실성 기반 전략을 능가했다.
• 랜덤 샘플링은 심장 데이터셋에서 50회의 반복 시 Dice 점수 0.893 ± 0.004를 기록하여 강력한 베이스라인으로서의 효과를 입증했다.
• 서명 거리 보간과 블록 크기 15를 사용한 스트라이드 샘플링은 심장 데이터셋에서 Dice 점수 0.901 ± 0.003를 기록했으며, 가짜 레이블의 품질은 Dice 점수 0.930 ± 0.085를 기록했다.
• 해마 데이터셋에서 가장 우수한 성능을 보인 스트라이드 전략(형태학적 윤곽, 블록 크기 10)은 50회의 반복 시 Dice 점수 0.807 ± 0.014를 기록했고, 랜덤 샘플링은 0.834 ± 0.005를 기록했다.
• 서명 거리 보간을 통해 생성된 가짜 레이블은 블록 크기 5일 때 심장 데이터셋에서 Dice 점수 0.974 ± 0.045를 기록하여 진짜 레이블에 매우 가까운 정밀도를 보였다.
• 오픈소스 벤치마킹 프레임워크는 심장, 해마, 전립선을 포함한 여러 3D 의료 분할 데이터셋에서 주동 학습 전략의 재현 가능한 평가 및 비교를 가능하게 하였다.