[論文レビュー] EasierPath: An Open-source Tool for Human-in-the-loop Deep Learning of Renal Pathology

Zheyu Zhu, Yuzhe Lu+4 more|arXiv (Cornell University)|Jul 28, 2020

AI in cancer detection参考文献 16被引用数 4

ひとこと要約

EasierPath は、病理学者とディープラーニングを統合したオープンソースで人間が関与するツールであり、腎臓の全スライド画像（WSI）における効率的で大規模な糸球体検出を実現する。繰り返しの最適化手法として、CircleNet を用いたオブジェクト検出、しきい値ベースのフィルタリング、およびスムーズなアノテーション互換性を活用することで、アノテーション作業を 57% 減少させ、平均精度（AP）を 0.504 から 0.620 まで向上させた（2 ループ後）。

ABSTRACT

Considerable morphological phenotyping studies in nephrology have emerged in the past few years, aiming to discover hidden regularities between clinical and imaging phenotypes. Such studies have been largely enabled by deep learning based image analysis to extract sparsely located targeting objects (e.g., glomeruli) on high-resolution whole slide images (WSI). However, such methods need to be trained using labor-intensive high-quality annotations, ideally labeled by pathologists. Inspired by the recent "human-in-the-loop" strategy, we developed EasierPath, an open-source tool to integrate human physicians and deep learning algorithms for efficient large-scale pathological image quantification as a loop. Using EasierPath, physicians are able to (1) optimize the recall and precision of deep learning object detection outcomes adaptively, (2) seamlessly support deep learning outcomes refining using either our EasierPath or prevalent ImageScope software without changing physician's user habit, and (3) manage and phenotype each object with user-defined classes. As a user case of EasierPath, we present the procedure of curating large-scale glomeruli in an efficient human-in-the-loop fashion (with two loops). From the experiments, the EasierPath saved 57 % of the annotation efforts to curate 8,833 glomeruli during the second loop. Meanwhile, the average precision of glomerular detection was leveraged from 0.504 to 0.620. The EasierPath software has been released as open-source to enable the large-scale glomerular prototyping. The code can be found in https://github.com/yuankaihuo/EasierPath

研究の動機と目的

• 腎臓病理学的アノテーションにおける人的労力と専門知識の要求を低減するため、人間と機械の知性を統合すること。
• 大規模な研究において、高解像度の全スライド画像（WSI）における糸球体のキュレーションに要する時間と作業を削減すること。
• 病理学者がデータの整合性を保ちつつ、馴染みのあるツール（ImageScope など）を用いてディープラーニングの検出結果を効率的に精査・修正できることを実現すること。
• 後続の表型解析やモデルの再トレーニングを可能にするために、検出された糸球体の分類と管理をカスタマイズ可能にすること。
• 人間が関与するフィードバックループを通じて、繰り返しの改善が可能なスケーラブルでオープンソースのパイプラインを開発すること。

提案手法

• 全スライド画像（WSI）に対して、初期段階で CircleNet を用いたディープラーニングベースの糸球体検出を実施し、信頼度スコアを伴うバウンディングサークルを出力する。
• EasierPath におけるグローバルしきい値処理により、信頼度スコアに基づいて検出結果をフィルタリングし、手動による品質保証（QA）の前に再現性と精度のバランスを図る。
• 病理学者がカスタムアノテーションインターフェースまたはネイティブな ImageScope 互換性を活用して、局所的な品質保証（QA）および修正作業を実施できるようにする。
• 各検出された糸球体を個別の画像として抽出・管理し、ユーザー定義の分類ラベルを付与する。
• 各ループで得られたキュレートされたデータを用いて CircleNet モデルを再トレーニングし、閉ループ型の最適化システムを構築する。
• 2 つの異なるループ（最初は生検データ、次に腎切除標本データ）を経て、各ループ後にモデルを再トレーニングすることで、反復的な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 人間が関与するフレームワークは、腎臓 WSI における大規模な糸球体検出に要するアノテーション作業を顕著に削減できるか？
• RQ2 繰り返しの人的フィードバックは、糸球体検出におけるディープラーニングモデルの性能をどの程度向上させるか？
• RQ3 病理学者とディープラーニングツールの統合は、糸球体検出の精度と再現性にどのように影響を与えるか？
• RQ4 オープンソースのツールは、ImageScope などの広く使用されている商用ソフトウェアと互換性を保ちつつ、臨床ワークフローを損なわないか？
• RQ5 複数のループからのキュレート済みデータは、糸球体検出モデルの汎化性能と正確性にどのような影響を与えるか？

主な発見

• EasierPath フレームワークは、2 ループ目において、1 人の病理学者が腎切除標本画像を処理する作業を約 2.5 時間削減し、合計で 57% のアノテーション作業の削減を達成した。
• 糸球体検出の平均精度（AP）は、1 ループ目終了後の 0.504 から 2 ループ目終了後の 0.620 に向上し、相対的に 22.6% の改善が見られた。
• IOU しきい値 0.5 の条件下で、平均精度は 25.51% 増加し、小形糸球体では AP が 46.28% 向上した（2 ループ後）。
• 精度 0.8 の条件下での再現率は、1 ループ目で 0.68 から 2 ループ目で 0.90 に上昇し、32.35% の改善が確認された。これは、真の糸球体の検出能力が向上したことを示している。
• 精度-再現率曲線は、2 ループ目以降において、精度と再現率の両方で一貫した向上を示し、モデルの強靭性が向上したことを裏付けた。
• 閉ループ型システムにより、キュレート済みデータを用いた効果的なモデル再トレーニングが可能となり、すべての AP メトリクスにおいて測定可能な性能向上が得られた。