[論文レビュー] Quick Annotator: an open-source digital pathology based rapid image annotation tool

Runtian Miao, Róbert Tóth+3 more|arXiv (Cornell University)|Jan 6, 2021

AI in cancer detection参考文献 5被引用数 4

ひとこと要約

Quick Annotator は、リアルタイムのユーザー操作とアクティブなディープラーニングを組み合わせることで、デジタル病理学画像のアノテーションを加速するオープンソースでウェブベースのツールである。ユーザーが注目領域をラベル付けするにつれて、モデルは繰り返し再訓練され、セグメンテーションの提案がなされ、全切片画像内の3つの組織学的構造においてFスコアが0.95を超える一方で、アノテーション速度が最大102倍に向上した。

ABSTRACT

Image based biomarker discovery typically requires an accurate segmentation of histologic structures (e.g., cell nuclei, tubules, epithelial regions) in digital pathology Whole Slide Images (WSI). Unfortunately, annotating each structure of interest is laborious and often intractable even in moderately sized cohorts. Here, we present an open-source tool, Quick Annotator (QA), designed to improve annotation efficiency of histologic structures by orders of magnitude. While the user annotates regions of interest (ROI) via an intuitive web interface, a deep learning (DL) model is concurrently optimized using these annotations and applied to the ROI. The user iteratively reviews DL results to either (a) accept accurately annotated regions, or (b) correct erroneously segmented structures to improve subsequent model suggestions, before transitioning to other ROIs. We demonstrate the effectiveness of QA over comparable manual efforts via three use cases. These include annotating (a) 337,386 nuclei in 5 pancreatic WSIs, (b) 5,692 tubules in 10 colorectal WSIs, and (c) 14,187 regions of epithelium in 10 breast WSIs. Efficiency gains in terms of annotations per second of 102x, 9x, and 39x were respectively witnessed while retaining f-scores >.95, suggesting QA may be a valuable tool for efficiently fully annotating WSIs employed in downstream biomarker studies.

研究の動機と目的

• デジタル病理学画像解析における時間のかかる手作業によるアノテーションという深刻なボトル neck を解消すること。
• バイオマーカーの同定に向けた大規模な全切片画像（WSI）のアノテーションに要する人的リソースと時間を削減すること。
• 核、尿細管、上皮領域などのヒストロジカル構造の効率的でスケーラブルかつ正確なセグメンテーションを可能にすること。
• アクティブラーニングとインタラクティブなユーザーのフィードバックを統合し、アノテーション中にモデルの予測を段階的に改善すること。
• 病理学研究分野における高効率なアノテーションツールへのアクセスを民主化するため、無料で利用可能でオープンソースのソリューションを提供すること。

提案手法

• 全切片画像内の注目領域（ROI）をユーザーが直感的かつリアルタイムにアノテートできるウェブベースのインターフェースを活用する。
• ユーザーから新たにアノテートされたデータを用いて、同時に訓練・更新されるディープラーニング（DL）モデルを採用する。
• 更新されたモデルをリアルタイムで適用し、ユーザーの確認・修正を前提としたセグメンテーションの提案を行う。
• 反復的フィードバックを支援：正しく予測されたものを受容するか、誤りを修正することで、モデルの将来の提案精度を向上させる。
• ユーザーの修正を直ちにモデルの学習プロセスに統合するフィードバックループを活用し、時間の経過とともに精度を向上させる。
• 知的な進化を遂げるモデルの予測により、繰り返しの手作業ラベリングを削減することで、アノテーションの効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブでウェブベースのアノテーションシステムは、単なる手作業と比較して、全切片画像内のヒストロジカル構造のアノテーションに要する時間を著しく短縮できるか？
• RQ2 リアルタイムのユーザーフィードバックとアクティブラーニングを統合することで、アノテーションの効率性とモデルの正確性はどの程度向上するか？
• RQ3 アノテーションスループットを著しく高速化しながらも、高いセグメンテーション性能（例：Fスコア >0.95）を維持できるか？
• RQ4 異なる組織タイプにおける多様なヒストロジカル構造（例：核、尿細管、上皮）において、このツールはどの程度の性能を示すか？
• RQ5 このツールのオープンソース性は、大規模なバイオマーカー発見パイプラインへの広範な採用と統合を十分に支えることができるか？

主な発見

• Quick Annotator は、5つの膵臓全切片画像にまたがる337,386個の核をアノテートする際、手作業と比較して102倍の高速化を達成した。
• 10の結腸がん全切片画像にまたがる5,692個の尿細管をアノテートする際、9倍の高速化を達成したが、Fスコアは0.95を超えたまま維持された。
• 10の乳がん全切片画像にまたがる14,187個の上皮領域について、39倍のアノテーション効率の向上が得られ、Fスコアは0.95を超えた。
• ユーザーの修正とモデルの再訓練の間の反復的フィードバックループにより、時間の経過とともにモデルの正確性が著しく向上した。
• 本システムは多様な組織タイプおよびヒストロジカル構造において堅牢な性能を示し、広範な適用可能性を示した。
• オープンソースのデプロイメントにより、大規模なデジタル病理学研究ワークフローへの統合が可能で、アクセス性と拡張性が保証された。