[論文レビュー] Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy

Zhaotao Wu, Jia Wei+3 more|arXiv (Cornell University)|Jan 31, 2020

Medical Image Segmentation Techniques被引用数 7

ひとこと要約

本稿では、フレーム補間とアテンション機構を備えたGANを用いた新規なスライス間画像増強手法を提案する。この手法により、連続する医用画像の間の合成中間スライスを生成し、3D肝臓セグメンテーションの精度を顕著に向上させる。医用ボリュームにおける空間的連続性を活用し、アダプティブアテンションを備えた二重判別器（グローバルおよびローカル）を用いることで、画像の現実性とセグメンテーションに関連する特徴の忠実度が向上し、3つの中間スライスを生成する状況で、SLIVER07およびCHAOS2019データセットにおいて最先端のDiceスコアを達成した。

ABSTRACT

We introduce the idea of inter-slice image augmentation whereby the numbers of the medical images and the corresponding segmentation labels are increased between two consecutive images in order to boost medical image segmentation accuracy. Unlike conventional data augmentation methods in medical imaging, which only increase the number of training samples directly by adding new virtual samples using simple parameterized transformations such as rotation, flipping, scaling, etc., we aim to augment data based on the relationship between two consecutive images, which increases not only the number but also the information of training samples. For this purpose, we propose a frame-interpolation-based data augmentation method to generate intermediate medical images and the corresponding segmentation labels between two consecutive images. We train and test a supervised U-Net liver segmentation network on SLIVER07 and CHAOS2019, respectively, with the augmented training samples, and obtain segmentation scores exhibiting significant improvement compared to the conventional augmentation methods.

研究の動機と目的

• 医用画像セグメンテーションにおけるトレーニングデータの限界を補うために、連続する画像の間の合成中間スライスを生成すること。
• スライス間の空間的関係をモデル化することで、トレーニングサンプルの数だけでなく、情報量を増やすことにより、セグメンテーション性能を向上させること。
• 二重判別器GANアーキテクチャにアテンション機構を組み込むことで、セグメンテーションに関連する特徴を保持する現実的な合成画像を向上させること。
• 過剰な合成ノイズを導入せずに、セグメンテーション精度を最大化する最適な中間スライスの数を特定すること。
• 実臨床データセット（SLIVER07およびCHAOS2019）を用いて手法を検証し、異なる画像プロトコル間での一般化性能を示すこと。

提案手法

• 本手法は、フレーム補間ベースのネットワークを用いて、2つの連続した軸方向スライスの間に中間医用画像を生成する。入力画像とラベルを共通の空間的解像度にワープする。
• U-Netベースのジェネレータを採用し、特に肝臓とその周囲の文脈を含むセグメンテーションに関連する解剖学的構造に注目するアテンション機構を統合する。
• 二重判別器GANアーキテクチャを採用：グローバル判別器は画像全体の真正性を評価し、ローカル判別器はアテンションを備えて、セグメンテーションに重要な領域の現実性を検証する。
• ローカル判別器内のアテンションネットワークは、ターゲット臓器を区別するのに最も有用な特徴を自動的に特定・強調し、合成画像における特徴の忠実度を向上させる。
• ジェネレータは、両判別器からの adversarial loss と、中間スライス間でのラベル一貫性を維持する再構成損失を用いて、エンドツーエンドで訓練される。
• 中間スライスの数は設定可能であり、本手法は、合成スライス数（1〜5）を変化させたU-Netのトレーニングを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 フレーム補間を3D医用ボリュームにおけるリアルな中間スライスの生成に効果的に応用できるか、セグメンテーション性能の向上に寄与するか？
• RQ2 ローカル判別器にアテンション機構を組み込むことで、セグメンテーションタスクにおける合成画像の品質が向上するか？
• RQ3 セグメンテーション精度を最大化するための最適な中間スライスの数は何か？ ただし、ノイズや歪みの導入を避けるものとする。
• RQ4 本手法は、従来のデータ増強技術（回転、反転、スケーリングなど）と比較して、実世界の医用画像ベンチマークでDiceスコアの向上を達成できるか？
• RQ5 本手法は、評価済みのCTデータセットにとどまらず、CTおよびMRIを含む異なる画像モodalitiesおよびデータセット間で一般化可能か？

主な発見

• 3つの中間スライスを生成した場合、SLIVER07データセットで平均Diceスコア0.912（±0.012）を達成し、最高のスコアを記録した。
• CHAOS2019データセットでは、3つの補間スライスを生成した場合、平均Diceスコア0.843（±0.014）を達成し、他のすべての設定を上回った。
• 3つの中間スライスを生成した場合が最良のセグメンテーション性能を示した。4つまたは5つに増やすと、合成ノイズの蓄積と実際の解剖学的構造からのずれにより、精度が低下した。
• アブレーションスタディの結果、グローバルおよびローカル判別器の両方が、合成画像の現実性とセグメンテーション用途への有用性を顕著に向上させた。特に、ローカル判別器とアテンション機構は、解剖学的文脈の保持に顕著に効果的であった。
• アテンションネットワークは、肝臓とその周囲の領域に的を絞り、文脈的特徴が正確なセグメンテーションに不可欠であり、モデルがその特徴を効果的に捉えていることを示した。
• 回転、反転、スケーリングといった従来のデータ増強技術と比較して、本手法は、特徴の多様性や空間的連続性を向上させることなく、単にサンプル数を増やすにとどまるものよりも優れた性能を示した。