[論文レビュー] Liver Steatosis Segmentation with Deep Learning Methods

Xiaoyuan Guo, Fusheng Wang+3 more|arXiv (Cornell University)|Nov 16, 2019

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 9被引用数 6

ひとこと要約

本論文は、全身スライドヒストパスロジー画像における重なり合う肝脂肪変性滴の正確なセグメンテーションを目的とした、Mask-RCNNに基づくディープラーニングフレームワークを提案する。トランスファーラーニングと、事前核セグメンテーションを活用したセミオートメーティックなデータ生成パイプラインを用いることで、75.87%の平均精度、60.66%の再現率、65.88%のF1スコア、76.97%のJaccardインデックスを達成し、肝疾患診断や移植評価における脂肪変性定量の既存手法を顕著に上回った。

ABSTRACT

Liver steatosis is known as the abnormal accumulation of lipids within cells. An accurate quantification of steatosis area within the liver histopathological microscopy images plays an important role in liver disease diagnosis and trans-plantation assessment. Such a quantification analysis often requires a precise steatosis segmentation that is challenging due to abundant presence of highly overlapped steatosis droplets. In this paper, a deep learning model Mask-RCNN is used to segment the steatosis droplets in clumps. Extended from Faster R-CNN, Mask-RCNN can predict object masks in addition to bounding box detection. With transfer learning, the resulting model is able to segment overlapped steatosis regions at 75.87% by Average Precision, 60.66% by Recall,65.88% by F1-score, and 76.97% by Jaccard index, promising to support liver disease diagnosis and allograft rejection prediction in future clinical practice.

研究の動機と目的

• ぼやけた境界と凝集体による影響により、定量が困難な、肝ヒストパスロジー画像における重なり合う脂肪変性滴の正確なセグメンテーションの課題に対処すること。
• 従来のヒューマンビジョンによる検査や既存の自動化手法に比べ、複雑で密集した脂肪変性領域を効果的にセグメンテーションできるディープラーニングベースの手法を開発すること。
• 事前核セグメンテーション手法を応用し、熟練医師による検証を経て改良したプロセスにより、高品質でスケーラブルなトレーニングデータセットを生成すること。
• 肝疾患診断やアルログラフト拒絶反応予測などの臨床応用において、頑健で自動化された脂肪変性定量を可能にすること。
• 脂肪変性インスタンスセグメンテーションの文脈において、異なるResNetバックボーンの性能を評価し、最適なアーキテクチャを同定すること。

提案手法

• インスタンスセグメンテーションモデルであるMask-RCNNを適応し、バウンディングボックスとピクセル単位のマスクを予測することで、全身スライド画像内における個々の脂肪変性滴の検出とセグメンテーションを実現する。
• ImageNetで事前学習されたResNetバックボーン（ResNet41、ResNet50、ResNet65）を用いたトランスファーラーニングを実施し、カスタム脂肪変性データセットで微調整することで、一般化性能と精度を向上させる。
• 色ヒストパスロジー画像をグレースケールに変換し、しきい値処理を施し、剛性フィルタリングと曲率に基づくポイント投票を用いて凝集体を同定することで、初期マスクを生成するデータ生成パイプラインを採用する。
• セクター形状領域における楕円フィッティングと局所的強度解析を実施し、分離曲線を回復させ、凝集体からの個々の脂肪変性滴を分離する。
• オンラインデータオーグメンテーション（ランダムアフィン変換、フリップ、ガウスノイズ付加）を適用することで、トレーニングデータの多様性を高め、モデルのロバストネスを向上させる。
• サイズ、周囲長、離心率のユーザー定義しきい値を用いたポストプロセッシングを実施し、セグメンテーション結果をフィルタリングし、病理医によるカスタマイズを支援する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法がぼやけた境界や凝集体の影響により失敗する全身スライドヒストパスロジー画像において、ディープラーニングモデルが重なり合う脂肪変性滴を効果的にセグメンテーションできるか？
• RQ2 異なるResNetバックボーンを用いたMask-RCNNの性能は、複雑で密集した脂肪変性領域のセグメンテーションにおいて、どのように比較されるか？
• RQ3 事前核セグメンテーションに基づくセミオートメーティックなデータ生成パイプラインは、トレーニングデータの品質をどの程度向上させ、アノテーション負荷を軽減できるか？
• RQ4 事前学習モデルからのトランスファーラーニングは、リソースが限られた医療画像環境において、脂肪変性のセグメンテーション精度を顕著に向上させるか？
• RQ5 形態的特徴（サイズ、周囲長、離心率）のしきい値を用いたポストプロセッシングは、生物学的に不審なまたはノイズの多いセグメンテーション結果をフィルタリングすることで、臨床的有用性を向上させられるか？

主な発見

• ResNet50バックボーンを搭載したMask-RCNNモデルが、テストセットで最高の性能を示し、75.87%の平均精度、60.66%の再現率、65.88%のF1スコア、76.97%のJaccardインデックスを達成した。
• 本手法は、既存の核ベースセグメンテーション手法（Clump_seg）をすべての指標で上回り、Jaccardインデックスで23.69ポイントの改善を達成した。
• ResNet50ベースのモデルは、ResNet41およびResNet65バックボーンを搭載したモデルと比較して、優れた一般化性能と低下したアンダーセグメンテーションエラーを示した。
• オンラインデータオーグメンテーションとトランスファーラーニングの活用により、多様なヒストパスロジー画像の外観にわたるモデルのロバストネスと一般化性能が顕著に向上した。
• サイズ、周囲長、離心率のしきい値によるポストプロセッシングにより、病理医が生物学的に妥当な結果に基づいて結果をフィルタリングできるようになり、臨床応用性が向上した。
• 本手法は、複雑なトポロジーを持つ極めて凝集体の強い領域においても、個々の滴を正確にセグメンテーションでき、挑戦的な空間的配置においても優れた性能を示した。