[論文レビュー] HarDNet-DFUS: An Enhanced Harmonically-Connected Network for Diabetic Foot Ulcer Image Segmentation and Colonoscopy Polyp Segmentation

Ting‐Yu Liao, Ching‐Hui Yang+4 more|arXiv (Cornell University)|Sep 15, 2022

Diabetic Foot Ulcer Assessment and Management被引用数 14

ひとこと要約

HarDNet-DFUS は、HarDNet-MSEG ベースにチャネルバランス型 HarDBlockV2 モジュールを統合し、デコーダーを Lawin Transformer 由来の Large Window Attention ベースのデコーダーに置き換えた、新しい医療画像セグメンテーションネットワークであり、糖尿病性足部潰瘍およびコロノスコピー画腫のセグメンテーションにおいて最先端の性能を達成した。MICCAI 2022 DFU チャレンジでは 0.7287 の平均 Dice スコアを記録し、優勝した。また、元のモデル比で Kvasir データセットの性能を 1.2% 向上させた。

ABSTRACT

We present a neural network architecture for medical image segmentation of diabetic foot ulcers and colonoscopy polyps. Diabetic foot ulcers are caused by neuropathic and vascular complications of diabetes mellitus. In order to provide a proper diagnosis and treatment, wound care professionals need to extract accurate morphological features from the foot wounds. Using computer-aided systems is a promising approach to extract related morphological features and segment the lesions. We propose a convolution neural network called HarDNet-DFUS by enhancing the backbone and replacing the decoder of HarDNet-MSEG, which was SOTA for colonoscopy polyp segmentation in 2021. For the MICCAI 2022 Diabetic Foot Ulcer Segmentation Challenge (DFUC2022), we train HarDNet-DFUS using the DFUC2022 dataset and increase its robustness by means of five-fold cross validation, Test Time Augmentation, etc. In the validation phase of DFUC2022, HarDNet-DFUS achieved 0.7063 mean dice and was ranked third among all participants. In the final testing phase of DFUC2022, it achieved 0.7287 mean dice and was the first place winner. HarDNet-DFUS also deliver excellent performance for the colonoscopy polyp segmentation task. It achieves 0.924 mean Dice on the famous Kvasir dataset, an improvement of 1.2\% over the original HarDNet-MSEG. The codes are available on https://github.com/kytimmylai/DFUC2022 (for Diabetic Foot Ulcers Segmentation) and https://github.com/YuWenLo/HarDNet-DFUS (for Colonoscopy Polyp Segmentation).

研究の動機と目的

• 臨床現場における糖尿病性足部潰瘍（DFU）のセグメンテーション精度を向上させること。手作業による評価は時間と労力を要し、一貫性に欠けるためである。
• 元々リアルタイムの画腫セグメンテーションを目的として設計された、最先端の HarDNet-MSEG モデルを、非リアルタイムで高精度を要求される DFU セグメンテーションに適した、より高精度なアーキテクチャに再設計すること。
• 新たなバックボーンおよび高度なデコーダーを含むアーキテクチャ的改善の有効性を、DFU および画腫セグメンテーションの両タスクにおいて評価すること。
• アンサンブル手法、データオーグメンテーション、マルチスケールの監督を用いて、堅牢な性能を実現すること。

提案手法

• HarDNet-MSEG ベースの元の HarDBlock モジュールを、チャネル分割と要因に基づく残差接続を用いることで特徴の学習を向上させ、メモリアクセスを削減する HarDBlockV2 に置き換えた。
• 強化されたバックボーンにおけるマルチスケール特徴の活用を向上させるために、遷移層に SE アテンションモジュールを統合した。
• HarDNet-MSEG に搭載された RFB ベースのデコーダーを、Lawin Transformer 由来の Large Window Attention デコーダーに置き換え、マルチスケール特徴表現の向上とセグメンテーション精度の向上を実現した。
• 汎化性能と推論のロバスト性を向上させるために、5分割交差検証、ディープ監督、境界監督、およびテスト時オーグメンテーション（TTA）を適用した。
• 最終予測の圧縮に Sigmoid および Tanh 関数を用い、実験的結果から Tanh がより優れた性能を示した。
• 複数のモデルバリアント（HarDNet-DFUS、Deep1、Deep2、Boundary）をアンサンブル推論に統合し、Dice スコアを最大化した。

実験結果

リサーチクエスチョン

• RQ1 CSPNet や ShuffleNetV2 のインスピレーションを受けるチャネルバランス技術を HarDNet-MSEG バックボーンに適用することで、糖尿病性潃瘍のような小さな不規則な病変のセグメンテーション精度が向上するか？
• RQ2 RFB デコーダーをトランスフォーマー由来の Large Window Attention デコーダーに置き換えることで、医療画像セグメンテーションタスクにおける性能が顕著に向上するか？
• RQ3 アンサンブル戦略（交差検証、マルチスケール監督、テスト時オーグメンテーションを含む）は、DFU セグメンテーションにおける汎化性能と Dice スコアの向上にどの程度寄与するか？
• RQ4 強化されたモデルは、元の HarDNet-MSEG と比較して、画腫セグメンテーションにおいて精度と推論速度の両面で優れているか？

主な発見

• MICCAI 2022 DFU チャレンジの検証フェーズでは、HarDNet-DFUS が 0.7063 の平均 Dice スコアを記録し、21 チーム中3位となった。
• MICCAI 2022 DFU チャレンジの最終テストフェーズでは、HarDNet-DFUS が 0.7287 の平均 Dice スコアを達成し、1位を獲得した。
• Kvasir データセットでは、元の HarDNet-MSEG と比較して平均 Dice スコアが 1.2% 向上（0.912 から 0.918 に）し、画腫セグメンテーションにおいて優れた性能を示した。
• 予測圧縮に Tanh を用いることで Sigmoid よりも優れた結果が得られ、境界監督と組み合わせた際の検証フェーズでの Dice スコアは 0.7001 であった。
• 垂直反転を用いたテスト時オーグメンテーションは性能向上に寄与し、検証フェーズで 0.7063、テストフェーズで 0.7287 の Dice スコアを達成した。これは、推論のロバスト性に有効であることを示している。
• より複雑なデコーダーを採用しても、HarDNet-DFUS は画腫セグメンテーションにおいて 30 FPS のリアルタイム推論速度を維持しており、精度と効率のバランスが取れていることが示された。