[論文レビュー] A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols

Neerav Karani, Krishna Chaitanya+2 more|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 6

ひとこと要約

本論文は、脳MR画像のセグメンテーションのための生涯学習フレームワークを提案する。この手法は、ドメイン固有のバッチ正規化（BN）層を用いた共有畳み込みフィルタを採用し、新しいスキャナーやプロトコルに、わずか約4枚のラベル付き画像のみで1つの畳み込みニューラルネットワーク（CNN）を適応可能にする。本手法は、再トレーニングを伴わずに、以前に学習したドメインにおける高い性能を維持し、新しいドメインではベンチマークに近い精度を達成するとともに、過去の知識を保持する。

ABSTRACT

Convolutional neural networks (CNNs) have shown promising results on several segmentation tasks in magnetic resonance (MR) images. However, the accuracy of CNNs may degrade severely when segmenting images acquired with different scanners and/or protocols as compared to the training data, thus limiting their practical utility. We address this shortcoming in a lifelong multi-domain learning setting by treating images acquired with different scanners or protocols as samples from different, but related domains. Our solution is a single CNN with shared convolutional filters and domain-specific batch normalization layers, which can be tuned to new domains with only a few ($\approx$ 4) labelled images. Importantly, this is achieved while retaining performance on the older domains whose training data may no longer be available. We evaluate the method for brain structure segmentation in MR images. Results demonstrate that the proposed method largely closes the gap to the benchmark, which is training a dedicated CNN for each scanner.

研究の動機と目的

• 強度やコントラストのばらつきにより、MRIデータが異なるスキャナーまたはプロトコルから得られた場合に生じるセグメンテーション性能の低下という課題に対処すること。
• 再トレーニングを伴わず、以前に学習したドメインを忘れない形で、深層学習モデルを新しい画像ドメインに継続的に適応可能にすること。
• ラベル付きデータが限られ、データ分布が時間とともに変化する現実世界の臨床応用に実用的なソリューションを開発すること。
• 個々のスキャナーごとに専用にトレーニングされたネットワークと同等の性能を達成するが、1つの統合モデルで実現すること。

提案手法

• すべてのスキャナー／プロトコルにわたって共有畳み込みフィルタを用いた1つのU-NetベースのCNNを訓練することで、共有された解剖的特徴を活用する。
• 各スキャナー／プロトコルに固有の学習可能なγおよびβパラメータを持つドメイン固有のバッチ正規化（BN）層を導入し、畳み込み重みは共有する。
• 共有畳み込みフィルタを更新せずに、新しいドメインのBNパラメータを約4枚のラベル付き画像を用いて微調整する。
• 各ドメインの元のBNパラメータ（γ, β）を保存・再利用することで、以前に学習したドメインの性能を維持する。
• 複数のドメインで事前トレーニングを行い、その後に新しいドメインに適応するマルチドメイントレーニング設定を採用する。
• 生涯学習の文脈で本手法を適用する：新しいドメインが段階的に追加され、最小限のデータで適応され、かつ過去の性能が保持される。

実験結果

リサーチクエスチョン

• RQ1 わずか数枚のラベル付きデータで、過去のドメインの性能を維持しながら、新しいMRIスキャナーやプロトコルに効果的に適応可能な1つの深層学習モデルを構築できるか？
• RQ2 ドメイン固有のBNと共有BNやドメイン不変特徴学習を比較した場合、スキャナ間の強度差を処理する上で、どの程度優れているか？
• RQ3 生涯学習アプローチは、多様なデータ分布にまたがる医療画像セグメンテーションにおいて、崩壊的忘却をどの程度軽減できるか？
• RQ4 初期トレーニング時に見られなかった新しいMRモodalities（例：T2強調）にも、本手法は一般化可能か？

主な発見

• 提案手法は、D4およびD5という新しいドメインにおいて、それぞれのドメインに最適化された専用CNNを初期からトレーニングした場合と同等のDiceスコアを達成し、ベースラインモデルよりも最大15%の向上を示した。
• 新しいドメインのBNパラメータを微調整した後、D4では平均Diceスコア0.841、D5では0.715を達成し、ドメイン固有のBNを導入しないベースラインモデルを著しく上回った。
• 新しいドメインへの適応後も、以前に学習したドメイン（D1, D2, D3）の性能に変化がなく、崩壊的忘却が発生していないことが確認された。
• 定性的な結果から、適応後のセグメンテーションマスクは、特に視床や扁桃体のような難易度の高い領域で、正解マスクとよく一致していた。
• 標準的なBNやヒストグラム等化処理の前処理は、新しいドメインにおいて性能を低下させたのに対し、本手法はその影響を受けることなく優れた性能を維持した。
• D4やD5のように極端な強度シフトを示すドメインに対しても、本手法は高い性能を維持した。一方、ベースラインモデルは完全に失敗していた。