[論文レビュー] Automatic Lymphocyte Detection in H&E Images with Deep Neural Networks.

Jianxu Chen, Chukka Srinivas|arXiv (Cornell University)|Dec 9, 2016

Digital Imaging for Blood Diseases参考文献 5被引用数 14

ひとこと要約

本稿では、ショートカット接続を備えた拡張された完全畳み込みネットワーク（FCN）と、自由形式のアノテーションおよび生物学的知識を活用する新しいトレーニング方式を用いて、H&E染色されたヒストパスロジー画像における自動リンパ球検出のためのディープラーニングベースの手法を提案する。モデルは多様な染色条件や組織種別にわたり頑健な性能を示し、人間が関与するフィンエーチューニングにより自己改善が可能である。

ABSTRACT

Automatic detection of lymphocyte in H&E images is a necessary first step in lots of tissue image analysis algorithms. An accurate and robust automated lymphocyte detection approach is of great importance in both computer science and clinical studies. Most of the existing approaches for lymphocyte detection are based on traditional image processing algorithms and/or classic machine learning methods. In the recent years, deep learning techniques have fundamentally transformed the way that a computer interprets images and have become a matchless solution in various pattern recognition problems. In this work, we design a new deep neural network model which extends the fully convolutional network by combining the ideas in several recent techniques, such as shortcut links. Also, we design a new training scheme taking the prior knowledge about lymphocytes into consideration. The training scheme not only efficiently exploits the limited amount of free-form annotations from pathologists, but also naturally supports efficient fine-tuning. As a consequence, our model has the potential of self-improvement by leveraging the errors collected during real applications. Our experiments show that our deep neural network model achieves good performance in the images of different staining conditions or different types of tissues.

研究の動機と目的

• がん免疫療法における免疫応答の定量的評価に不可欠な、H&E染色された全スライド画像における正確で頑健な自動リンパ球検出システムの開発。
• 限られたエキスパート依存の正解アノテーションの課題に対処し、ポイント、スクラッチ、バウンディング領域などの自由形式アノテーションを効率的に活用する。
• リンパ球のサイズ（14–20 ミクロン）やディスク型の形状といった、事前生物学的知識をトレーニングプロセスに統合し、モデルの一般化性能を向上させる。
• リアルワールド応用で得られる誤りをフィンエーチューニングに活用する連続的自己改善を可能にするトレーニング方式の設計。
• 臨床的ヒストパスロジー画像で一般的な染色強度や組織形態の大きなばらつきに対しても頑健であることを保証する。

提案手法

• 特徴学習と勾配伝播の改善を目的に、残差学習ブロック（2つの3×3畳み込み + ReLU + ショートカット接続）を完全畳み込みネットワーク（FCN）に拡張する。
• 局所的および文脈的情報を捉えるために、マルチスケール特徴学習を備えたエンコーダデコーダアーキテクチャを採用する。
• リンパ球のサイズと形状に関する事前知識を統合するための新しいトレーニング戦略を導入。具体的には、モデルが合理的なリンパ球空間分布を予測するように制約を課す。
• 弱い教師信号として、リンパ球を示すポジティブポイント、腫瘍細胞・ストロマル細胞を示すネガティブポイント、非リンパ球領域へのスクラッチを含む自由形式アノテーションを活用し、効率的なモデルトレーニングを実現する。
• データオーグメンテーションと、公開データセットおよび自社内データセットからの交互サンプリングを用いて、トレーニングデータの分布をバランスさせ、一般化性能を向上させる。
• 各画素ごとに生成される確率マップに対して、非最大抑制としきい値処理を用いて、検出されたリンパ球の位置と信頼度スコアを抽出する後処理を実施する。

実験結果

リサーチクエスチョン

• RQ1 自由形式アノテーションでトレーニングされたディープラーニングモデルは、多様な染色条件や組織種別において、頑健なリンパ球検出を達成できるか？
• RQ2 リンパ球のサイズや形態といった生物学的知識が、限られたアノテーション条件下で、検出性能の向上にどの程度有効に統合できるか？
• RQ3 リアルワールド応用で病理医が是正した誤りをもとに、モデルがどの程度自己改善できるか？
• RQ4 残差接続とマルチスケール特徴学習を備えた本手法アーキテクチャは、標準的なFCNやパッチベースのCNNに比べ、検出精度と推論速度の両面で優れているか？
• RQ5 密に配置されたまたは形態的に類似したリンパ球のような困難な状況下でも、モデルの性能はどの程度維持されるか？

主な発見

• 提案手法は、公開および自社内H&E画像データセットの両方で優れた性能を示し、顕著な染色ばらつきや組織変動に対しても頑健であることが確認された。
• 定量的結果から、劣悪な染色品質、高組織密度、または高腫瘍細胞含有量を示す画像においても、リンパ球の検出が成功していることが示された。
• 複数の細胞が密に配置された状況では、細胞間の全体的形状と文脈的関係を捉えることで、過剰分割や検出漏れを回避する能力を有している。
• トレーニング方式により、非一様で自由形式のラベル（ポイントやスクラッチなど）を含む限られたエキスパートアノテーションを効率的に活用できる。
• 病理医が是正した誤りをもとにフィンエーチューニングすることで、継続的な自己改善が可能となり、リアルワールドでの展開に適した精度の進化を実現している。
• トレーニングプロセスにおいてリンパ球サイズ（14–20 ミクロン）に関する事前知識を活用することで、局所化の正確性が向上し、誤検出が減少した。