[논문 리뷰] Benefits of Linear Conditioning with Metadata for Image Segmentation

Andréanne Lemay, Charley Gros외 4명|arXiv (Cornell University)|2021. 02. 18.

Medical Imaging and Analysis참고 문헌 18인용 수 6

한 줄 요약

이 논문은 종양 유형과 같은 메타데이터를 사용하여 U-Net 세그멘테이션 모델을 조절하기 위해 기능별 선형 조절(FiLM)을 사용하는 것을 제안한다. 이는 성능과 내성성을 향상시킨다. 메타데이터를 사용하여 특징 맵에 학습 가능한 애프린 변환을 적용함으로써 FiLM은 척수 종양 세그멘테이션에서 평균 Dice 점수를 5.1% 향상시키며, 누락된 레이블이나 제한된 데이터가 있는 다중 작업 학습에서도 효과적으로 작동한다.

ABSTRACT

Medical images are often accompanied by metadata describing the image (vendor, acquisition parameters) and the patient (disease type or severity, demographics, genomics). This metadata is usually disregarded by image segmentation methods. In this work, we adapt a linear conditioning method called FiLM (Feature-wise Linear Modulation) for image segmentation tasks. This FiLM adaptation enables integrating metadata into segmentation models for better performance. We observed an average Dice score increase of 5.1% on spinal cord tumor segmentation when incorporating the tumor type with FiLM. The metadata modulates the segmentation process through low-cost affine transformations applied on feature maps which can be included in any neural network's architecture. Additionally, we assess the relevance of segmentation FiLM layers for tackling common challenges in medical imaging: multi-class training with missing segmentations, model adaptation to multiple tasks, and training with a limited or unbalanced number of annotated data. Our results demonstrated the following benefits of FiLM for segmentation: FiLMed U-Net was robust to missing labels and reached higher Dice scores with few labels (up to 16.7%) compared to single-task U-Net. The code is open-source and available at www.ivadomed.org.

연구 동기 및 목표

• 일반적으로 忽시되는 임상 및 촬영 메타데이터를 통합하여 의료 영상 세그멘테이션을 향상시키기 위해.
• 의료 영상에서 제한적이거나 불균형한 레이블 문제를 해결하기 위해 누락된 레이블이 있는 다중 작업 학습을 가능하게 하기 위해.
• 메타데이터 기반 조절을 통해 세그멘테이션에서 작업 적응을 위한 저비용이고 유연한 방법을 개발하기 위해.
• 종양 유형, 스캐너 제조사, 환자 인구통계학적 특성과 같은 메타데이터가 세그멘테이션 성능에 미치는 영향을 평가하기 위해.
• 단일 다중 작업 모델을 사용하여 여러 해부학적 구조 간의 전이 학습을 가능하게 하기 위해.

제안 방법

• 특징 맵에 대한 학습 가능한 애프린 변환을 통해 메타데이터를 사용하여 U-Net 세그멘테이션 네트워크를 FiLM(기능별 선형 조절)으로 조절한다.
• 예: 종양 유형, 기관 등 일진화된 메타데이터를 FiLM 생성 네트워크의 입력으로 사용하여 채널별 스케일링 및 시프팅 파rameter를 생성한다.
• FiLM 레이어를 U-Net 인코더 및 디코더에 통합하여 각 레이어에서 메타데이터가 특징 표현을 조절할 수 있도록 한다.
• 각 이미지가 오직 한 개의 클래스에만 레이블이 붙은 다수의 소스에서 온 데이터를 사용하여 단일 다중 클래스 세그멘테이션 모델을 훈련하며, 작업 간 공유된 가중치를 활용한다.
• 레이블 마스킹을 사용하여 누락된 레이블을 시뮬레이션하고, 부분적 감독 하에서 모델의 내성성을 평가한다.
• 연속적인 메타데이터(예: 나이, 에코 시간)를 이산화된 범위로 분할하여 FiLM에 사용함으로써 다양한 유형의 데이터 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 종양 유형과 같은 메타데이터로 세그멘테이션 모델을 조절하면 성능 향상이 이루어지는가?
• RQ2 레이블이 누락되거나 불완전할 경우 FiLM 기반 조절이 모델의 내성성에 어떤 영향을 미치는가?
• RQ3 제한적이거나 불균형한 레이블이 있는 상황에서 단일 FiLM 조절 U-Net이 여러 해부학적 구조에 얼마나 일반화되는가?
• RQ4 소수의 레이블이 있는 경우 FiLM이 효과적인 소수의 예시 적응을 가능하게 하는가?
• RQ5 메타데이터 통합이 의료 영상 세그멘테이션에서 불확실성과 일반화에 어떤 영향을 미치는가?

주요 결과

• 종양 유형 메타데이터를 통합함으로써 척수 종양 세그멘테이션에서 평균 Dice 점수는 5.1% 향상되었다.
• 단일 작업 U-Net에 비해 소수의 레이블 예시만으로 훈련된 FiLM 조절 U-Net은 최대 16.7% 높은 Dice 점수를 기록했다.
• 클래스당 2명의 환자만 레이블이 붙은 경우, 비스프레인/신장 세그멘테이션 작업에서 FiLM 조절 모델은 단일 작업 U-Net보다 Dice 점수에서 11.5% 높은 성능을 보였다.
• 모델는 누락된 레이블에 대해 내성적이었으며, 훈련 세트에서 일부 클래스가 레이블이 없더라도 높은 성능을 유지했다.
• 데이터셋 크기가 증가함에 따라 FiLM 조절 모델의 성능은 표준 U-Net 수준에 도달했으며, 이는 확장성과 안정성을 시사한다.
• 이 방법은 최소한의 레이블 비용으로도 동일한 공유 아키텍처를 사용하여 다양한 기관과 병변에 걸쳐 효과적인 다중 작업 학습을 가능하게 했다.