[논문 리뷰] Q-Net: Query-Informed Few-Shot Medical Image Segmentation

Qianqian Shen, Yanan Li외 2명|arXiv (Cornell University)|2022. 08. 24.

COVID-19 diagnosis using AI인용 수 11

한 줄 요약

Q-Net는 쿼리 정보를 반영한 few-shot 의료 영상 분할 방법을 제안하며, 쿼리 영상 특징을 이용해 임계치를 동적으로 적응시키고 프로토타입을 정교화함으로써 메타학습을 향상시킨다. 복부 및 심장 MRI 데이터셋에서 기존 최고 성능(SOTA) 방법들을 크게 능가하며, 특히 소형 기관에 대해 뛰어난 성능을 보인다.

ABSTRACT

Deep learning has achieved tremendous success in computer vision, while medical image segmentation (MIS) remains a challenge, due to the scarcity of data annotations. Meta-learning techniques for few-shot segmentation (Meta-FSS) have been widely used to tackle this challenge, while they neglect possible distribution shifts between the query image and the support set. In contrast, an experienced clinician can perceive and address such shifts by borrowing information from the query image, then fine-tune or calibrate her prior cognitive model accordingly. Inspired by this, we propose Q-Net, a Query-informed Meta-FSS approach, which mimics in spirit the learning mechanism of an expert clinician. We build Q-Net based on ADNet, a recently proposed anomaly detection-inspired method. Specifically, we add two query-informed computation modules into ADNet, namely a query-informed threshold adaptation module and a query-informed prototype refinement module. Combining them with a dual-path extension of the feature extraction module, Q-Net achieves state-of-the-art performance on widely used abdominal and cardiac magnetic resonance (MR) image datasets. Our work sheds light on a novel way to improve Meta-FSS techniques by leveraging query information.

연구 동기 및 목표

• 현재 메타학습 방법이 간과하는 지지셋과 쿼리 영상 간의 분포 이탈 문제를 해결한다.
• 전문 의료진이 쿼리 영상 정보를 활용해 사전 지식을 校정하는 능력을 모방하여 분할 정확도를 향상시킨다.
• 이상 탐지 기반 최고 성능 모델인 ADNet을 개선하기 위해 쿼리 인식 적응 메커니즘을 통합한다.
• 분류 불균형과 외관 변동성이 높은 의료 영상에서 더 잘 대응하기 위해 추론 중 동적이고 적응 가능한 임계치 설정과 프로토타입 정교화를 가능하게 한다.
• 도전적인 복부 및 심장 MRI 데이터셋에서 소기관 분할 작업에 대해 뛰어난 성능을 입증한다.

제안 방법

• 쿼리 특징에서 유연한 임계치를 학습하는 쿼리 정보 기반 임계치 적응 모듈을 도입하여 ADNet에서 사용하는 고정 임계치를 대체한다.
• 재구성 손실에 의해 유도되는 기울기 기반 최적화를 통해 반복적으로 프로토타입을 업데이트하는 쿼리 정보 기반 프로토타입 정교화 모듈을 구현한다.
• 지지 및 쿼리 영상에서 다중 척도 특징을 캡처하기 위해 이중 경로 특징 추출 아키텍처에 두 모듈을 통합한다.
• 쿼리 특징과 초기 프로토타입 간의 음성 코사인 유사도를 사용해 초기 분할 마스크를 생성하고, 이를 정교화한다.
• 메타학습 프레임워크에서 특징 인코더와 임계치 생성기의 학습을 수행하며, 추론 시에는 이들을 고정하고 오직 프로토타입 정교화만 활성화한다.
• 반복적 정교화를 적용: 현재 프로토타입으로 쿼리 특징의 전경 영역를 교체하고, 교차 엔트로피 손실을 계산한 후 기울기 하강법을 통해 프로토타입을 업데이트한다.

실험 결과

연구 질문

• RQ1 쿼리 정보 기반 적응 메커니즘이 지지셋과 쿼리 영상 간의 분포 이탈 문제를 완화함으로써 few-shot 의료 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 임계치 적응 및 프로토타입 정교화에 쿼리 영상 정보를 통합할 경우, 희귀 또는 소형 기관의 분할 성능에 어떤 영향을 미치는가?
• RQ3 이중 경로 아키텍처는 단일 경로 모델 대비 few-shot 의료 분할을 위한 특징 표현을 얼마나 향상시키는가?
• RQ4 실제 의료 영상 환경에서 제안된 쿼리 정보 기반 전략이 고정 임계치 및 정적 프로토타입 기반 베이스라인을 초월하는가?
• RQ5 각 쿼리 정보 기반 모듈(임계치 적응 및 프로토타입 정교화)이 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• Q-Net은 복부 및 심장 MRI 데이터셋에서 모두 최고 성능을 달성하며, 기존 SOTA 방법들보다 훨씬 뛰어난 성능을 보였다.
• 쿼리 정보 기반 프로토타입 정교화 모듈이 임계치 적응보다 더 큰 성능 향상 기여를 하였으며, 특히 소기관 분할에 있어 두드러졌다.
• 제거 분석 결과, 두 쿼리 정보 기반 모듈이 각각 독립적으로 분할 정확도를 향상시키며, 이중 경로 아키텍처는 특징 표현을 추가로 향상시켰다.
• 크고 다양한 외관 변동성과 분류 불균형에 대해 뛰어난 내성성을 보였으며, 특히 크기가 작고 대trast가 낮은 기관에 유리했다.
• 쿼리 영상에서 학습된 적응형 임계치는 새로운 의미적 클래스를 효과적으로 처리하고 복잡한 배경 영역에서 잠재적 오진을 줄였다.
• 어려운 애드레날라 및 둔장과 같은 희귀 기관에서도 뛰어난 Dice 스코어를 달성하였으며, 이는 annotation이 부족하고 전통적 방법이 실패하는 영역에서 유의미한 성과였다.