[論文レビュー] Image Segmentation and Classification for Sickle Cell Disease using Deformable U-Net

Mo Zhang, Xiang Li+2 more|arXiv (Cornell University)|Oct 23, 2017

Digital Imaging for Blood Diseases参考文献 14被引用数 23

ひとこと要約

本稿では、網小球病変（SCD）赤血球（RBC）画像において、細胞のセグメンテーションと分類を統合的に実行する可変U-Netアーキテクチャを提案する。標準U-Netフレームワークに可変畳み込みを統合することで、モデルは変動するRBCの形状・サイズ・画像アーチファクトに適応可能となり、手動アノテーション済みの顕微鏡画像データセット上で97.8％のセグメンテーション精度と82.7％の分類精度を達成した。これは標準U-Netを著しく上回る性能である。

ABSTRACT

Reliable cell segmentation and classification from biomedical images is a crucial step for both scientific research and clinical practice. A major challenge for more robust segmentation and classification methods is the large variations in the size, shape and viewpoint of the cells, combining with the low image quality caused by noise and artifacts. To address this issue, in this work we propose a learning-based, simultaneous cell segmentation and classification method based on the deep U-Net structure with deformable convolution layers. The U-Net architecture for deep learning has been shown to offer a precise localization for image semantic segmentation. Moreover, deformable convolution layer enables the free form deformation of the feature learning process, thus makes the whole network more robust to various cell morphologies and image settings. The proposed method is tested on microscopic red blood cell images from patients with sickle cell disease. The results show that U-Net with deformable convolution achieves the highest accuracy for segmentation and classification, comparing with original U-Net structure.

研究の動機と目的

• 網小球病変（SCD）赤血球の同時セグメンテーションと分類を実現するエンドツーエンドのディープラーニングフレームワークの開発を目的とする。
• 形態的多様性、重なり合う細胞、ノイズやアーチファクトによる低品質な画像といった、RBC画像解析における課題に取り組むことを目的とする。
• 適応的受容 field を用いて、細胞サイズ・形状・視点の空間的ばらつきに対して耐性を高める。
• エンドツーエンドで判別的特徴を学習することで、手動特徴抽出に依存しないこと。
• 臨床的顕微鏡画像を用いたディープラーニングによる正確で自動化されたSCD診断の実現を目的とする。

提案手法

• ネットワーク全体に標準畳み込み層の代わりに可変畳み込み層を組み込んだ、可変U-Netアーキテクチャを開発した。
• 可変畳み込みは、特徴抽出のための適応的サンプリング位置を学習し、不規則なRBC形状をよりよく捉える柔軟でデータ駆動型の受容 field を可能にする。
• U-Netアーキテクチャにおけるエンコーダーからデコーダーへのスキップ接続により、空間的詳細が保持され、セグメンテーションにおける局所化精度が向上する。
• モデルは88枚の手動アノテーション済みRBC画像パッチ（88サンプル）上でエンドツーエンドに学習され、うち48枚を訓練用、40枚をテスト用に使用した。
• 画像強調や前処理（例：ノイズ除去）は一切適用せず、生の256×256パッチを直接訓練および推論に使用した。
• フレームワークは1回の順伝播でピクセル単位のセマンティックセグメンテーションと分類を実行し、細胞境界と病理的状態の同時予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、品質が低い顕微鏡画像において、ディープラーニングモデルが網小球病変RBCの正確なセグメンテーションと分類を同時に実行できるか？
• RQ2 標準U-Netと比較して、可変畳み込みをU-Netに統合することで、RBCのサイズ・形状・画像アーチファクトの変動に対する耐性が向上するか？
• RQ3 明示的な特徴工学的処理や画像前処理を経ずに、高い性能を達成できるか？
• RQ4 セグメンテーション精度、分類精度、誤検出数の観点から、可変U-Netは標準U-Netと比較してどのように異なるか？
• RQ5 S形の細胞や重なった細胞を含む複雑なRBC形態に対しても、モデルは一般化可能か？

主な発見

• 可変U-Netは97.8％のセグメンテーション精度を達成し、標準U-Netの94.7％を著しく上回った。
• 細胞分類に関しては、可変U-Netが82.7％の精度を達成したのに対し、標準U-Netは73.1％であった。
• 可変U-Netは標準U-Netに比べて誤検出数を33％削減し、ノイズの拒否能力に優れたことが示された。
• より滑らかで正確な細胞境界予測が得られ、断片的または不完全なラベル付けが減少した。
• 可変U-Netは標準U-Netの45対比で12という低いError II率を達成し、細胞領域全体にわたる一貫性ある分類が示された。
• 推論速度は2モデル間でほぼ同等であったが、可変バージョンでは学習時間が4倍に増加した。