[論文レビュー] Benefits of Linear Conditioning with Metadata for Image Segmentation

Andréanne Lemay, Charley Gros+4 more|arXiv (Cornell University)|Feb 18, 2021

Medical Imaging and Analysis参考文献 18被引用数 6

ひとこと要約

本稿では、腫瘍種別などのメタデータを用いてU-Netセグメンテーションモデルを条件づけるために、特徴量別線形変調（FiLM）を提案する。メタデータを用いて特徴マップに学習可能なアフィン変換を適用することで、脊髄腫瘍セグメンテーションにおいて平均Diceスコアを5.1%向上させ、ラベル欠落や限られたデータがある状況でも効果的なマルチタスク学習を可能にする。

ABSTRACT

Medical images are often accompanied by metadata describing the image (vendor, acquisition parameters) and the patient (disease type or severity, demographics, genomics). This metadata is usually disregarded by image segmentation methods. In this work, we adapt a linear conditioning method called FiLM (Feature-wise Linear Modulation) for image segmentation tasks. This FiLM adaptation enables integrating metadata into segmentation models for better performance. We observed an average Dice score increase of 5.1% on spinal cord tumor segmentation when incorporating the tumor type with FiLM. The metadata modulates the segmentation process through low-cost affine transformations applied on feature maps which can be included in any neural network's architecture. Additionally, we assess the relevance of segmentation FiLM layers for tackling common challenges in medical imaging: multi-class training with missing segmentations, model adaptation to multiple tasks, and training with a limited or unbalanced number of annotated data. Our results demonstrated the following benefits of FiLM for segmentation: FiLMed U-Net was robust to missing labels and reached higher Dice scores with few labels (up to 16.7%) compared to single-task U-Net. The code is open-source and available at www.ivadomed.org.

研究の動機と目的

• 通常無視されがちな臨床的および取得メタデータを統合することで、医療画像セグメンテーションを向上させること。
• 医療画像における限られたまたは不均衡なアノテーションの課題に対処し、ラベル欠落を許容するマルチタスク学習を可能にすること。
• メタデータ駆動の条件づけを用いて、セグメンテーションにおけるタスク適応のための低コストで柔軟な手法を開発すること。
• 腫瘍種別、スキャナーメーカー、患者の人口統計的特徴などのメタデータがセグメンテーション性能に与える影響を評価すること。
• 1つのマルチタスクモデルを用いて、複数の解剖的構造にわたる転移学習を可能にすること。

提案手法

• 特徴量別線形変調（FiLM）を適応し、特徴マップ上の学習可能なアフィン変換を用いて、U-Netセグメンテーションネットワークをメタデータで条件づける。
• ワンホットエンコーディングされたメタデータ（例：腫瘍種別、臓器）をFiLM生成ネットワークの入力とし、チャネル別スケーリングおよびシフトパラメータを生成する。
• FiLMレイヤーをU-Netエンコーダーおよびデコーダーに統合し、各レイヤーでメタデータが特徴表現を変調できるようにする。
• 複数のソースからのデータを1つのマルチクラスセグメンテーションモデルで学習させ、各画像は1つのクラスに対してのみアノテーションが付与されるようにし、タスク間で重みを共有する。
• ラベルマスクを用いてアノテーション欠落をシミュレートし、部分的監視下でのモデルの耐性を評価する。
• 連続的メタデータ（例：年齢、エコー時間）をビン化された範囲に変換し、FiLMに統合することで、多様なデータタイプの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 腫瘍種別などのメタデータを用いた条件づけが、セグメンテーション性能を向上させることができるか？
• RQ2 ラベルが欠落している、または不完全な状況下で、FiLMベースの条件づけがモデルの耐性に与える影響はいかほどか？
• RQ3 限られたまたは不均衡なアノテーションがある状況下で、1つのFiLM付きU-Netが複数の解剖的構造にどの程度一般化できるか？
• RQ4 少数のアノテート済み例しか利用できない状況で、FiLMが効果的な少サンプル適応を可能にするか？
• RQ5 メタデータ統合が、医療画像セグメンテーションにおける不確実性と一般化性能に与える影響はいかほどか？

主な発見

• 腫瘍種別メタデータを統合した場合、脊髄腫瘍セグメンテーションにおいて平均Diceスコアが5.1%向上した。
• わずか数例のアノテート済み例での学習でも、FiLM付きU-Netは単一タスクU-Netに比べて最大16.7%高いDiceスコアを達成した。
• 1クラスあたり2例の被験者しかラベル付けされていなくても、脾臓／腎臓セグメンテーションタスクにおいて、FiLM付きモデルは単一タスクU-Netを11.5%上回るDiceスコアを達成した。
• モデルはラベル欠落に対しても耐性を示し、トレーニングセットに一部のクラスがアノテートされていなくても、高い性能を維持した。
• データセットサイズが増加するに従い、FiLM付きモデルの性能は標準U-Netと同等に収束した。これはスケーラビリティと安定性を示している。
• 本手法により、最小限のアノテーションコストで、1つの共有アーキテクチャを用いて、異なる臓器および病変にわたる効果的なマルチタスク学習が可能になった。