[論文レビュー] U-Net-based Models for Skin Lesion Segmentation: More Attention and Augmentation

Pooya Mohammadi Kazaj, MohammadHossein Koosheshi+2 more|arXiv (Cornell University)|Oct 28, 2022

Cutaneous Melanoma Detection and Management被引用数 6

ひとこと要約

本研究では、ISIC 2016 データセットにおける皮膚病変のセグメンテーションを向上させるために、CBAM およびピラミッドアテンションモジュールを統合した強化された U-Net アーキテクチャと、カスタムヘア増幅および CutMix/Mosaic を含む高度なデータオーグメンテーションを提案する。U-Net-ResNet50 および R2U-Net モデルは、特定のオーグメンテーション設定で最高の Dice スコアと IoU スコアを達成し、提案された U-Net ピラミッド CBAM ゲートは、クラス内およびクラス間の不一致に対処する上で他のモデルを大きく上回った。

ABSTRACT

According to WHO[1], since the 1970s, diagnosis of melanoma skin cancer has been more frequent. However, if detected early, the 5-year survival rate for melanoma can increase to 99 percent. In this regard, skin lesion segmentation can be pivotal in monitoring and treatment planning. In this work, ten models and four augmentation configurations are trained on the ISIC 2016 dataset. The performance and overfitting are compared utilizing five metrics. Our results show that the U-Net-Resnet50 and the R2U-Net have the highest metrics value, along with two data augmentation scenarios. We also investigate CBAM and AG blocks in the U-Net architecture, which enhances segmentation performance at a meager computational cost. In addition, we propose using pyramid, AG, and CBAM blocks in a sequence, which significantly surpasses the results of using the two individually. Finally, our experiments show that models that have exploited attention modules successfully overcome common skin lesion segmentation problems. Lastly, in the spirit of reproducible research, we implement models and codes publicly available.

研究の動機と目的

• アテンション機構とデータオーグメンテーションを用いて、深層学習モデルにおける皮膚病変セグメンテーションのパフォーマンスを向上させること。
• 病変内の色の変動（例：クラス内不一致）や正常皮膚が病変と誤認される（例：クラス間不一致）といった一般的なセグメンテーション課題に対処すること。
• 訓練と検証の指標の差（ΔM）として定義される新規指標を用いて、モデルの一般化性能と過学習の程度を評価すること。
• 複雑な状況下で個別のアテンションブロックを上回る性能を示す、新規のアテンションモジュール「U-Net ピラミッド CBAM ゲート」の開発と検証すること。
• コードとトレーニング済みモデルを公開することで、再現性を確保すること。

提案手法

• スキップ接続に CBAM および AG アテンションモジュールを統合した、提案された U-Net-ResNet50 および R2U-Net モデル。これにより特徴の注目度が向上する。
• ピラミッド、AG、CBAM ブロックを組み合わせた新規の逐次アテンションモジュールを設計し、特徴表現の向上とセグメンテーションのロバスト性を強化した。
• Albumentation を用いたオーグメンテーション、Mosaic、CutMix、および2つのカスタムヘア増幅技術を含む4つのデータオーグメンテーション設定を適用し、髪の毛アーチファクトによるモデルの混乱を低減した。
• 5分割交差検証を用いて ISIC 2016 データセット上で10種類の U-Net ベースのモデルを訓練し、Dice、IoU、Focal Tversky の指標を用いて性能を評価した。
• 訓練と検証スコアのギャップを測定することで、エポックごとの過学習の程度を定量化する新しい指標 ΔM を導入した。
• 平均訓練実行あたりのエポック数に基づく新規なトレーニング速度評価手法を用いて、モデルの効率性を比較した。

実験結果

リサーチクエスチョン

• RQ1 CBAM や AG といったアテンションモジュールは、皮膚病変セグメンテーションの U-Net ベースモデルにおけるパフォーマンスにどのように寄与するか？
• RQ2 ピラミッド、AG、CBAM モジュールを複数組み合わせることで、個別に使用する場合と比較して、どのような差が生じるか？
• RQ3 特にカスタムヘア増幅および CutMix/Mosaic を含むデータオーグメンテーション戦略の中で、過学習の低減と一般化性能の向上に最も効果的なのはどれか？
• RQ4 U-Net-ResNet50 と R2U-Net は、セグメンテーション精度、トレーニング速度、クラス内・クラス間不一致へのロバスト性の観点から、どのように比較されるか？
• RQ5 アテンションモジュールは、境界検出の悪化や色の類似性による誤分類といった一般的なセグメンテーション問題をどの程度軽減できるか？

主な発見

• Aug-1 および Aug-2 データオーグメンテーションを適用した U-Net-ResNet50 は、最高の Dice スコア（0.91±0.0）と IoU（0.83±0.0）を達成し、優れたセグメンテーション性能を示した。
• R2U-Net は平均 7.8 エポックで最も高速なトレーニング速度を示し、計算リソースが限られた環境に適している。
• U-Net ピラミッド CBAM ゲート モデルは、クラス間不一致やクラス内不一致が顕著な状況、特に色の変動が大きい領域において、U-Net-ResNet50 や Double U-Net、R2U-Net を上回る性能を示した。
• CBAM モジュールは、R2U-Net の境界検出性能と明るい色-tones の領域におけるロバスト性を顕著に向上させ、クラス内不一致を低減した。
• R2U-Net と U-Net-ResNet50 は、それぞれ Dice スコアで ΔM が 0.009 および 0.015 と最も低い過学習度を示し、優れた一般化性能を示した。
• カスタムヘア増幅と CutMix/Mosaic は、髪の毛アーチファクトによるモデルの混乱を顕著に低減し、外観の変動に対するロバスト性を向上させた。