[논문 리뷰] Going to Extremes: Weakly Supervised Medical Image Segmentation

Holger R. Roth, Dong Yang외 3명|arXiv (Cornell University)|2020. 09. 25.

Advanced Neural Network Applications참고 문헌 3인용 수 4

한 줄 요약

이 논문은 해부학적 차원당 한 번씩의 극단점 클릭(최소한의 사용자 입력)만을 사용하는 약한 감독 3D 의료 영상 분할 방법을 제안한다. 초기 노이즈가 있는 분할 결과는 랜덤 워커 알고리즘을 통해 생성되며, 이후 포인트 기반 손실 함수와 주의 메커니즘을 통합한 완전 컨volution 네트워크(FCN)를 반복적으로 훈련시켜 정제한다. 이로써 여섯 가지 다양한 의료 영상 작업에서 완전 감독 방법에 가까운 성능을 달성하였으며, MO-담낭 데이터셋에서는 완전 감독 결과를 초월하는 성능을 보였다.

ABSTRACT

Medical image annotation is a major hurdle for developing precise and robust machine learning models. Annotation is expensive, time-consuming, and often requires expert knowledge, particularly in the medical field. Here, we suggest using minimal user interaction in the form of extreme point clicks to train a segmentation model which, in effect, can be used to speed up medical image annotation. An initial segmentation is generated based on the extreme points utilizing the random walker algorithm. This initial segmentation is then used as a noisy supervision signal to train a fully convolutional network that can segment the organ of interest, based on the provided user clicks. Through experimentation on several medical imaging datasets, we show that the predictions of the network can be refined using several rounds of training with the prediction from the same weakly annotated data. Further improvements are shown utilizing the clicked points within a custom-designed loss and attention mechanism. Our approach has the potential to speed up the process of generating new training datasets for the development of new machine learning and deep learning-based models for, but not exclusively, medical image analysis.

연구 동기 및 목표

• 기관 경계에 대한 극단점 클릭만으로도 사용자 상호작용을 최소화하여 의료 영상 분할의 비용과 복잡도를 낮추는 것.
• 최소한의 사용자 입력을 활용해 정확한 3D 분할 모델을 훈련할 수 있는 약한 감독 학습 프레임워크를 개발하는 것.
• 약한 레이블링 데이터로부터의 예측을 반복적으로 정제하여 분할 성능을 향상시키는 것.
• 레이블링 부담을 증가시키지 않으면서도 사용자가 제공한 극단점 정보를 손실 함수와 주의 메커니즘에 통합하여 네트워크 학습을 이끄는 것.
• 다양한 3D 의료 영상 작업에서의 성능 평가 및 완전 감독 및 이전의 약한 감독 접근법과의 비교

제안 방법

• 사용자가 정의한 극단점 클릭(예: 3D 의료 영상에서 왼쪽 끝, 오른쪽 끝, 앞쪽, 뒤쪽, 상단, 하단)을 기반으로 시작한다.
• 극단점에 적용된 랜덤 워커 알고리즘을 통해 초기 분할 결과가 생성되며, 이는 노이즈가 있는 가짜 레이블을 생성한다.
• 이 가짜 레이블을 사용하여 기관 분할을 위한 완전 컨volution 네트워크(FCN)의 훈련을 수행한다.
• 네트워크는 이전 라운드의 예측 결과를 새로운 약한 감독 신호로 사용하여 반복적으로 훈련된다.
• 새로운 포인트 기반 손실 함수는 극단점의 공간 좌표를 직접 손실에 통합하여 네트워크의 방향성을 이끈다.
• 극단점 위치를 활용해 특징 맵을 조절하는 주의 메커니즘이 도입되어 관련 영역에 대한 집중도를 향상시킨다.

실험 결과

연구 질문

• RQ1 밀도 있는 레이블링 없이도 극단점 클릭만으로도 높은 성능을 보이는 3D 의료 영상 분할 모델을 훈련시킬 수 있는가?
• RQ2 모델의 자체 예측 결과를 반복적으로 사용하는 정제 과정이, 훈련 라운드가 진행될수록 분할 성능에 어떤 영향을 미치는가?
• RQ3 손실 함수와 주의 메커니즘에 극단점 정보를 통합할 경우, 기존의 약한 감독 기반 대안 대비 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법이 실제 의료 영상 작업에서 완전 감독 훈련과 비교해 유사하거나 이를 초월하는 성능을 달성하는가?
• RQ5 형태, 질감, 복잡도가 다양하게 변하는 다양한 해부학적 구조에 대해 이 방법은 얼마나 견고한가?

주요 결과

• 제안된 방법은 여섯 가지 의료 영상 작업 중 네 가지에서 완전 감독 훈련에 근접한 성능을 달성하여 최소한의 사용자 입력으로도 강력한 일반화 능력을 입증하였다.
• MO-담낭 데이터셋에서는 약한 감독 모델이 완전 감독 기반 베이스라인을 초월하여, 딱시 스코어 0.874를 기록한 반면, 완전 감독 모델은 0.862를 기록하였다.
• 포인트 기반 손실과 주의 메커니즘을 모두 추가한 결과 여섯 가지 작업 중 네 곳에서 성능 향상이 있었으며, 특히 복잡하거나 비정형적인 형태의 기관에서 가장 뚜렷한 향상이 관찰되었다.
• 반복 훈련 기반의 정제 방식은 모든 데이터셋에서 일관되게 분할 정확도를 향상시켰으며, 동일한 약한 레이블링 데이터를 사용함에도 불구하고 라운드가 진행될수록 성능이 향상되었다.
• 랜덤 워커 초기화는 패닉스와 같이 질감 변화가 심하거나 기하학적 복잡성이 높은 경우에도 견고한 시작점을 제공하였다.
• 밀도 있는 스케치나 전체 분할 레이블링이 아닌, 3D 볼륨당 단지 여섯 개의 점 클릭만으로도 레이블링 비용을 크게 절감할 수 있었다.