[논문 리뷰] ECONet: Efficient Convolutional Online Likelihood Network for Scribble-based Interactive Segmentation

Muhammad Asad, Lucas Fidon외 1명|arXiv (Cornell University)|2022. 01. 12.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

ECONET는 CT 영상에서 코로나19 폐 병변의 스크래치 기반 상호작용 세그멘테이션을 위한 경량이며 완전 컨볼루션형 온라인 학습 네트워크를 제안한다. 패치 기반 온라인 훈련과 가중 교차 엔트로피를 통해 유저가 제공한 스크래치만으로 실시간 적응을 가능하게 하여, 최신 기술 대비 16% 높은 Dice 스코어를 달성하면서 추론 시간을 3배 감소시키고, 레이블이 지정된 볼륨 수를 9,000개 줄였다.

ABSTRACT

Automatic segmentation of lung lesions associated with COVID-19 in CT images requires large amount of annotated volumes. Annotations mandate expert knowledge and are time-intensive to obtain through fully manual segmentation methods. Additionally, lung lesions have large inter-patient variations, with some pathologies having similar visual appearance as healthy lung tissues. This poses a challenge when applying existing semi-automatic interactive segmentation techniques for data labelling. To address these challenges, we propose an efficient convolutional neural networks (CNNs) that can be learned online while the annotator provides scribble-based interaction. To accelerate learning from only the samples labelled through user-interactions, a patch-based approach is used for training the network. Moreover, we use weighted cross-entropy loss to address the class imbalance that may result from user-interactions. During online inference, the learned network is applied to the whole input volume using a fully convolutional approach. We compare our proposed method with state-of-the-art using synthetic scribbles and show that it outperforms existing methods on the task of annotating lung lesions associated with COVID-19, achieving 16% higher Dice score while reducing execution time by 3$\ imes$ and requiring 9000 lesser scribbles-based labelled voxels. Due to the online learning aspect, our approach adapts quickly to user input, resulting in high quality segmentation labels. Source code for ECONet is available at: https://github.com/masadcv/ECONet-MONAILabel.

연구 동기 및 목표

• 코로나19 폐 병변의 CT 볼륨에서 시간이 오래 걸리고 전문가에 의존하는 수작업 세그멘테이션 문제를 해결하기 위해.
• HU 강도 분포가 겹치는 경우 병변과 건강한 폐 조직을 구분하는 데 어려움을 겪는 외관 기반 모델의 한계를 극복하기 위해.
• 사전 훈련 없이도 사용자 스크래치에 신속하게 적응할 수 있는 효율적인 온라인 학습 프레임워크를 개발하기 위해.
• 고정밀도 세그멘테이션 정확도를 유지하면서 필요한 레이블이 지정된 볼륨 수를 줄이기 위해.
• 시각적 특징이 모호한 신규 병변에 대해 빠른 데이터 레이블링을 가능하게 하기 위해.

제안 방법

• ECONET는 사용자가 제공한 스크래치 레이블를 포함한 패치만을 사용하여 실시간으로 훈련되는 경량의 완전 컨볼루션 신경망을 활용한다.
• 희소한 사용자 상호작용으로부터 학습 속도를 높이기 위해 패치 기반 훈련 전략을 사용한다.
• 희소한 스크래치로 인한 클래스 불균형을 완화하기 위해 가중 교차 엔트로피 손실을 적용한다.
• 전체 3D 볼륨에 대한 완전 컨볼루션 전방 전파를 통해 온라인 추론을 수행한다.
• 사전 훈련 없이 엔드 투 엔드로 훈련되어 새로운 레이블에 즉각적으로 적응할 수 있다.
• 동적 학습 전략이 사용자 상호작용 후에 네트워크 가중치를 점진적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 희소한 스크래치 레이블만을 사용하여도 딥 러닝 모델이 모호한 폐 병변에 대해 높은 세그멘테이션 정확도를 달성할 수 있는가?
• RQ2 희소한 사용자 상호작용에서 온라인 학습이 오프라인 또는 사전 훈련된 모델 대비 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 패치 기반 훈련 전략은 상호작용 세그멘테이션에서 성능을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ4 희소 레이블링으로 인한 클래스 불균형 상황에서 가중 교차 엔트로피 손실이 모델의 강건성에 얼마나 기여하는가?
• RQ5 엔드 투 엔드 온라인 학습 프레임워크가 기존의 온라인 가능도 모델보다 정확도와 효율성 측면에서 뛰어나게 성능을 내는가?

주요 결과

• ECONET는 합성 스크래치에 대해 최신 기술인 DybaORF-Haar-Like 대비 16% 높은 Dice 스코어를 달성했다.
• ECONET는 DybaORF-Haar-Like 대비 추론 시간을 3배 감소시켜 약 2초 내로 온라인 훈련과 추론를 구현했다.
• ECONET는 DybaORF-Haar-Like와 동일한 성능을 달성하기 위해 9,000개의 레이블이 지정된 볼륨을 줄였다.
• 70%의 데이터셋에서 ECONET는 Dice 스코어가 80% 이상을 기록했고, DybaORF-Haar-Like는 단지 15%에 그쳤다.
• ECONET는 GMM 및 히스토GRAM 기반 방법보다 뛰어난 성능을 보였으며, 이는 일반화가 어려워 레이블이 많아질수록 성능이 악화된 반면 ECONET는 오히려 향상되었기 때문이다.
• 비전문가가 제공한 스크래치를 사용한 정성적 결과에서는 ECONET가 지상 진실에 가까운 세그멘테이션을 생성하여 노이즈가 많은 사용자 입력에 대해 강건함을 보였다.