[論文レビュー] SPDA: Superpixel-based Data Augmentation for Biomedical Image Segmentation

Yizhe Zhang, Lin Yang+6 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Image Fusion Techniques被引用数 6

ひとこと要約

本稿では、生画像とスーパーピクセル化画像の両方で深層学習モデルを訓練することで、生体医療画像セグメンテーションの性能を向上させるスーパーピクセルベースのデータ拡張手法SPDAを提案する。グローバルな構造と空間的関係を保持することで、SPDAはモデルの一般化性能を向上させ、2Dおよび3Dのセグメンテーションタスクにおいて一貫して性能を向上させる。

ABSTRACT

Supervised training a deep neural network aims to "teach" the network to mimic human visual perception that is represented by image-and-label pairs in the training data. Superpixelized (SP) images are visually perceivable to humans, but a conventionally trained deep learning model often performs poorly when working on SP images. To better mimic human visual perception, we think it is desirable for the deep learning model to be able to perceive not only raw images but also SP images. In this paper, we propose a new superpixel-based data augmentation (SPDA) method for training deep learning models for biomedical image segmentation. Our method applies a superpixel generation scheme to all the original training images to generate superpixelized images. The SP images thus obtained are then jointly used with the original training images to train a deep learning model. Our experiments of SPDA on four biomedical image datasets show that SPDA is effective and can consistently improve the performance of state-of-the-art fully convolutional networks for biomedical image segmentation in 2D and 3D images. Additional studies also demonstrate that SPDA can practically reduce the generalization gap.

研究の動機と目的

• 人間の視覚認識が効果的にスーパーピクセル化画像を処理できることを模倣する深層学習モデルにおけるギャップを埋める。
• トレーニングにスーパーピクセル化画像を組み込むことで、生体医療画像セグメンテーションにおける完全畳み込みネットワーク（FCNs）の一般化性能とロバスト性を向上させる。
• 既存の手法と互換性があり、セグメンテーション性能を向上させるシンプルで効果的なデータ拡張技術を開発する。
• トレーニングをスーパーピクセル化画像で行うことで、一般化ギャップが縮小され、多様な生体医療画像データセットにおける性能が向上することを実証する。

提案手法

• 生画像からスーパーピクセルセルを生成するために、SLICスーパーピクセルアルゴリズムを適用し、空間的に接続された視覚的に類似したピクセルをグループ化する。
• 各スーパーピクセル内のすべてのピクセル値を、そのスーパーピクセルに含まれるピクセルの平均値に置き換えることで、グローバルな形状と色彩構造を保持する。
• 生画像とそれに対応するスーパーピクセル化画像を組み合わせることで、統合されたトレーニングデータセットを構築し、元のトレーニングセットを拡張する。
• 結合されたデータセット上で完全畳み込みネットワーク（FCNs）をトレーニングすることで、モデルが生画像とスーパーピクセル化表現の両方から学習できるようにする。
• 性能をさらに向上させるために、標準的なデータ拡張技術（例：ランダムクロッピング、反転、回転、弾性変形）とSPDAを統合する。
• 3Dスーパービoxel生成の計算コストが高いため、高アノトロピーな3D画像に対しては、2Dスライスごとにスーパーピクセル化を適用し、2D FCNモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルをスーパーピクセル化画像でトレーニングすることで、生体医療画像セグメンテーションにおける一般化性能と人間の視覚認識を模倣する能力が向上するか？
• RQ2 SPDAは、多様な生体医療データセットにおけるセグメンテーション性能の向上に関して、従来のデータ拡張手法と比較してどのように差をつけるか？
• RQ3 SPDAは完全畳み込みネットワークにおけるトレーニングとテストの性能ギャップを縮小するか？
• RQ4 SPDAは、既存のデータ拡張技術と効果的に組み合わせられ、さらにセグメンテーション精度を向上させることができるか？
• RQ5 SPDAは、2Dおよび3Dの生体医療画像セグメンテーションタスク、特に高アノトロピーな3D画像に対しても有効か？

主な発見

• 神経構造データセットでは、SPDAによりセグメンテーション性能が顕著に向上し、U-Net + SPDAは $V_{Fscore}^{Rand}$ が 0.9950 ± 0.0002 を達成し、U-Net + EDDA（0.9944 ± 0.003）を上回った。
• 腺セグメンテーションデータセットでは、DCN + SPDAがパートAで $F_1$ スコア 0.918、パートBで 0.860 を達成し、最先端のMILD-Net（0.914および0.844）を上回った。
• 腺データセットのパートBでは、オブジェクトハウスドルフ距離が126.479から95.83に低下し、予測された腺と正解の腺の形状類似性が向上した。
• 統計的分析により、主な比較（例：U-Net 対 U-Net + SPDA）においてすべての向上が有意であることが確認され、p値 < 0.0001であった。
• SPDAは、U-Net や DCN といった複数のアーキテクチャおよび神経、腺、網膜、脳といった複数のデータセットで一貫して性能を向上させ、広範な適用可能性を示した。
• 一般化ギャップが縮小されていることが、テストセットでの性能向上と、異なるランダムシードを用いた複数回の実行における一貫した向上から裏付けられた。