[論文レビュー] Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions

Dong Zhang, Yi Lin+5 more|arXiv (Cornell University)|Sep 21, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 20

ひとこと要約

本研究は、 MedISeg の“トリック”を実装フェーズ六にわたって広範に調査し、一貫したベースラインで効果を実証的に評価し、オープンなプラグアンドプレイの MedISeg リポジトリを公開します。

ABSTRACT

Over the past few years, the rapid development of deep learning technologies for computer vision has significantly improved the performance of medical image segmentation (MedISeg). However, the diverse implementation strategies of various models have led to an extremely complex MedISeg system, resulting in a potential problem of unfair result comparisons. In this paper, we collect a series of MedISeg tricks for different model implementation phases (i.e., pre-training model, data pre-processing, data augmentation, model implementation, model inference, and result post-processing), and experimentally explore the effectiveness of these tricks on consistent baselines. With the extensive experimental results on both the representative 2D and 3D medical image datasets, we explicitly clarify the effect of these tricks. Moreover, based on the surveyed tricks, we also open-sourced a strong MedISeg repository, where each component has the advantage of plug-and-play. We believe that this milestone work not only completes a comprehensive and complementary survey of the state-of-the-art MedISeg approaches, but also offers a practical guide for addressing the future medical image processing challenges including but not limited to small dataset, class imbalance learning, multi-modality learning, and domain adaptation. The code and training weights have been released at: https://github.com/hust-linyi/seg_trick.

研究の動機と目的

• MedISeg における六つの実装フェーズ（事前学習、データ前処理、データ拡張、モデル実装、モデル推論、結果後処理）で用いられるトリックを特定し、分類する。
• 一貫した2D/3Dベースライン（2D-UNet、3D-UNet）および代表的なデータセット上で、これらのトリックの有効性を定量的に評価する。
• 将来の MedISeg 研究のための公正な比較とプラグアンドプレー利用を可能にする実践的なガイダンスとオープンソースのリポジトリを提供する。

提案手法

• 六つの実装フェーズにまたがる広範なトリックを調査する。
• 2D-UNetおよび3D-UNetという二つの標準ベースラインを用い、四つの医用データセット（2D ISIC 2018、2D CoNIC、3D KiTS19、3D LiTS）でトリックを実験的に評価する。
• 再現性のある設定で結果を分析し、Recall、Precision、Dice、および IoU 指標で性能を報告する。
• プラグアンドプレー コンポーネントを備えた MedISeg リポジトリをオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 標準ベースラインに対する六つの MedISeg 実装フェーズ全体で一般的に使用されるトリックの定量的な影響はどれくらいか？
• RQ2 2Dおよび3Dの医用画像セグメンテーションタスク全般で最も信頼性の高い利益をもたらすトリックはどれか？
• RQ3 異なる事前学習スキーム（監視付き対自己教師あり学習）は医用データセットでの下流のセグメンテーション性能にどのように影響するか？
• RQ4 データ前処理、拡張、正規化の戦略はデータセット依存の効果を持つか？
• RQ5 組み立てられたトリックは公正なモデル比較を促進し、将来の医用画像処理課題を導くことができるか？

主な発見

• 事前学習: ImageNet-21k pre-trained weights は 2D セグメンテーションの平均的な利益を最大化し、Dice および IoU の改善が顕著ですが、データセットごとに利益は異なる。
• 自己教師あり weights (SimCLR、MoCo、ModelGe) はタスクとデータセットによって改善効果がまちまちを提供する可能性があり、ModelGe は3Dタスクに潜在能力を示す一方で一部設定で害となる可能性がある。
• データ前処理: パッチサイズ、オーバーサンプリング、強度正規化は3Dセグメンテーションに大きく影響する。小さなパッチなど不適切な選択は性能を著しく低下させる可能性がある。
• データ拡張: GTAug と GANAug の組み合わせは、いくつかのデータセットで控えめながら一貫した利益をもたらし、効果はタスクとデータセットによって異なる。
• 推論と後処理のトリックは結果に実質的な影響を与えうる残りの要素の中にあり、公正な比較には一貫した実装の詳細が必要である。
• オープンソースの MedISeg リポジトリは、トリックのプラグアンドプレー統合を可能にし、より公正で再現可能な MedISeg 研究を促進する。