[論文レビュー] Iterative annotation to ease neural network training: Specialized machine learning in medical image analysis

Brendon Lutnick, Brandon Ginley+8 more|arXiv (Cornell University)|Dec 18, 2018

AI in cancer detection参考文献 46被引用数 36

ひとこと要約

本論文は、神経ネットワークの予測をAperio ImageScope WSIビューアに直接統合することで、病理学的画像解析におけるアノテーション負荷を軽減する反復的で人間が関与するアノテーションフレームワークを提案する。病理医が予測を段階的に修正することで、ヒトおよびマウス組織における腎のマイクロコンpartmentsのセグメンテーション精度が向上し、放射線学における前立腺腺腫のセグメンテーションに対しても適応可能であることが示され、最小限の専門家によるラベル付けで頑健な性能を達成している。

ABSTRACT

Neural networks promise to bring robust, quantitative analysis to medical fields, but adoption is limited by the technicalities of training these networks. To address this translation gap between medical researchers and neural networks in the field of pathology, we have created an intuitive interface which utilizes the commonly used whole slide image (WSI) viewer, Aperio ImageScope (Leica Biosystems Imaging, Inc.), for the annotation and display of neural network predictions on WSIs. Leveraging this, we propose the use of a human-in-the-loop strategy to reduce the burden of WSI annotation. We track network performance improvements as a function of iteration and quantify the use of this pipeline for the segmentation of renal histologic findings on WSIs. More specifically, we present network performance when applied to segmentation of renal micro compartments, and demonstrate multi-class segmentation in human and mouse renal tissue slides. Finally, to show the adaptability of this technique to other medical imaging fields, we demonstrate its ability to iteratively segment human prostate glands from radiology imaging data.

研究の動機と目的

• 深層ニューラルネットワークの訓練における医療画像解析のアノテーション負荷を軽減すること。
• モデルの予測を標準的なWSIビューアワークフローに統合することで、病理医とニューラルネットワーク開発者の間のギャップを埋めること。
• 反復的な専門家のフィードバックを通じてモデル性能を向上させる、スケーラブルでインタラクティブなパイプラインを開発すること。
• 本手法が全スライド画像における複雑な腎組織ヒストロジック構造のセグメンテーションに有効であることを示すこと。
• 病理学および放射線学を含む、異なる医療画像モダリティにおいて本アプローチの妥当性を検証すること。

提案手法

• 本手法は、病理学で標準的なツールであるAperio ImageScopeビューア内に、ニューラルネットワークの予測を重ねて表示するカスタムインターフェースを用いる。
• 病理医がシンプルなアノテーションインターフェースを用いて、モデルの予測を段階的に修正し、その変更を再訓練にフィードバックする。
• システムは反復の度にモデルのパフォーマンスを追跡し、各ラウンドのフィードバックによるセグメンテーション精度の向上を定量的に評価する。
• 腎のマイクロコンパートメントおよび前立腺腺腫のセマンティックセグメンテーションに、U-Netベースの深層学習モデルを採用する。
• パイプラインはマルチクラスセグメンテーションをサポートし、ヒトおよびマウスの腎組織における複雑な組織構造の区別を可能にする。
• 本アプローチは、放射線学における前立腺腺腫のセグメンテーションの例示により、他の画像モダリティへの適用可能性が示されている。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブで人間が関与するアノテーションシステムは、医療画像セグメンテーションのための高品質なトレーニングデータを生成する際の時間的・人的負荷を軽減できるか？
• RQ2 モデルの予測の反復的補正が、複雑な腎組織ヒストロジック構造のセグメンテーションにおける深層ニューラルネットワークのパフォーマンスにどのように影響するか？
• RQ3 本フレームワークは、病理学や放射線学を含む、異なる医療画像分野にどの程度一般化可能か？
• RQ4 複数ラウンドの専門家フィードバックの後で、セグメンテーション精度にどの程度の定量的向上が見られるか？
• RQ5 モデルの予測を標準的なWSIビューアに統合することで、病理医のワークフローとアノテーション効率にどのような影響があるか？

主な発見

• 反復的アノテーションパイプラインは、ヒトおよびマウスの全スライド画像における腎マイクロコンパートメントのセグメンテーション精度を向上させながら、顕著にアノテーション負荷を軽減した。
• 各反復で性能が向上し、専門家のフィードバックを伴うアクティブラーニングが、モデルパフォーマンスの迅速な収束をもたらすことが示された。
• 本手法は、グロメルラ、チューブウルス、間質など、高精度な空間分解能を有する腎組織構造のロバストなマルチクラスセグメンテーションを達成した。
• 本フレームワークは、放射線学画像における前立腺腺腫のセグメンテーションに成功裏に適応され、クロスモダリティ適用可能性が確認された。
• 標準のAperio ImageScopeインターフェースへの予測統合により、ワークフロー効率が向上し、専門家のフィードバックの際の摩擦が軽減された。
• 定量的結果では、複数の反復にわたりDiceスコアに一貫した向上が見られ、3〜5回のフィードバックサイクルでパフォーマンスが安定化した。