[論文レビュー] Transfer Learning U-Net Deep Learning for Lung Ultrasound Segmentation

Dorothy J. Cheng, Edmund Y. Lam|arXiv (Cornell University)|Oct 5, 2021

COVID-19 diagnosis using AI参考文献 19被引用数 20

ひとこと要約

本研究では、正確な肺エコー画像セグメンテーションを実現するための転移学習U-Netフレームワークを提案し、VGG16ベースの（V-Unet）および自然画像で事前学習された（X-Unet）アプローチを比較した。X-Unetはわずかに低いDiceスコアであったものの、視覚的精度が高く、アーチファクトが少ないという優れた性能を示した。部分的ファインチューニングを適用することでさらなる性能向上が得られ、限られた医療データセットにおいて転移学習とデータ拡張の相乗効果が顕著に表れた。

ABSTRACT

Transfer learning (TL) for medical image segmentation helps deep learning models achieve more accurate performances when there are scarce medical images. This study focuses on completing segmentation of the ribs from lung ultrasound images and finding the best TL technique with U-Net, a convolutional neural network for precise and fast image segmentation. Two approaches of TL were used, using a pre-trained VGG16 model to build the U-Net (V-Unet) and pre-training U-Net network with grayscale natural salient object dataset (X-Unet). Visual results and dice coefficients (DICE) of the models were compared. X-Unet showed more accurate and artifact-free visual performances on the actual mask prediction, despite its lower DICE than V-Unet. A partial-frozen network fine-tuning (FT) technique was also applied to X-Unet to compare results between different FT strategies, which FT all layers slightly outperformed freezing part of the network. The effect of dataset sizes was also evaluated, showing the importance of the combination between TL and data augmentation.

研究の動機と目的

• 転移学習を用いたU-Netを活用し、肺エコー画像における肋骨のセグメンテーション精度を向上させること。
• 医療画像セグメンテーションにおける異なる事前学習戦略（VGG16および自然顕著オブジェクトデータセット）の有効性を評価すること。
• 限られたデータ環境下におけるU-Netの転移学習におけるファインチューニング戦略を調査すること。
• データセットサイズとデータ拡張が転移学習と組み合わせた場合の医療画像セグメンテーションに与える影響を評価すること。
• 頑健なセグメンテーションを実現するための最適な事前学習ソースとファインチューニング戦略のバランスを特定すること。

提案手法

• ImageNetで事前学習されたVGG16をエンコーダーとして用いた適応U-Netアーキテクチャ（V-Unet）。
• グレースケールの自然顕著オブジェクトデータセットで事前学習されたエンコーダーを用いたU-Netの構築（X-Unet）。
• 肺エコー画像データ上でトレーニングする際、エンコーダー層の異なる数を凍結することで部分的ファインチューニングを適用した。
• セグメンテーション性能の評価に、Dice係数（DICE）と視覚的検査を用いた。
• 限られたトレーニングデータ下での一般化性能向上を目的に、データ拡張技術を適用した。
• さまざまな転移学習手法およびファインチューニング戦略の下でのモデル性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 VGG16と自然顕著オブジェクトデータセット、どちらの事前学習ソースが肺エコー画像のセグメンテーション性能をより高めるか？
• RQ2 部分的ファインチューニングは完全ファインチューニングと比較して、セグメンテーション精度とアーチファクト低減の観点でどのように異なるか？
• RQ3 転移学習と組み合わせた場合、データセットサイズとデータ拡張が医療画像セグメンテーションに与える影響は何か？
• RQ4 X-UnetはDiceスコアがV-Unetより低いにもかかわらず、なぜよりアーチファクトのない予測を生成するのか？
• RQ5 限られたデータ環境下では、非医療分野の事前学習モデルを用いた転移学習が、医療特化型の事前学習を上回る可能性はあるか？

主な発見

• X-Unetは、わずかに低いDiceスコアであったものの、V-Unetと比較して視覚的により正確で、アーチファクトのないセグメンテーションマスクを生成した。
• 部分的フリーズファインチューニング戦略は、一部の層のみをフリーズする戦略をわずかに上回った。これは、より広範なファインチューニングの利点が示された。
• V-UnetはX-Unetよりも高いDice係数を達成したが、視覚的品質はアーチファクトの増加により劣っていた。
• 転移学習とデータ拡張の組み合わせは、特に限られたトレーニングデータ下でモデル性能を顕著に向上させた。
• 本研究の文脈において、自然顕著オブジェクトデータセットでの事前学習は、ImageNetベースの事前学習よりも優れた一般化性能と視覚的忠実度を示した。
• 本研究では、効果的なファインチューニングとデータ拡張を組み合わせることで、非医療分野の事前学習モデルが医療特化型の事前学習と同等、あるいはそれ以上の性能を発揮できることを示した。