[論文レビュー] Unsupervised Histopathology Image Synthesis

Le Hou, Ayush Agarwal+4 more|arXiv (Cornell University)|Dec 13, 2017

AI in cancer detection参考文献 39被引用数 56

ひとこと要約

この論文は、核分割マスクを伴う大規模で現実的かつタスクに関連する組織病理画像データセットを合成する完全に教師なしパイプラインを提示します。これにより、教師なしで優れた核分割を実現し、リアルタイムの難例生成を可能にします。

ABSTRACT

Hematoxylin and Eosin stained histopathology image analysis is essential for the diagnosis and study of complicated diseases such as cancer. Existing state-of-the-art approaches demand extensive amount of supervised training data from trained pathologists. In this work we synthesize in an unsupervised manner, large histopathology image datasets, suitable for supervised training tasks. We propose a unified pipeline that: a) generates a set of initial synthetic histopathology images with paired information about the nuclei such as segmentation masks; b) refines the initial synthetic images through a Generative Adversarial Network (GAN) to reference styles; c) trains a task-specific CNN and boosts the performance of the task-specific CNN with on-the-fly generated adversarial examples. Our main contribution is that the synthetic images are not only realistic, but also representative (in reference styles) and relatively challenging for training task-specific CNNs. We test our method for nucleus segmentation using images from four cancer types. When no supervised data exists for a cancer type, our method without supervision cost significantly outperforms supervised methods which perform across-cancer generalization. Even when supervised data exists for all cancer types, our approach without supervision cost performs better than supervised methods.

研究の動機と目的

• 現実的でスタイル参照付き画像と核分割マスクを合成することにより、大規模な注釈付き組織病理訓練データセットの作成コストと労力を削減する。
• 合成データを用いて、代表的で挑戦的なタスク特異的モデル（例：核分割）を訓練できるようにする。
• タスク特異的CNNを継続的に改善するためのオン・ザ・フライ難例合成を統合する。
• 実験対象をがん種間で示し、監視データが利用できないゼロショット状況でも有効性を示す。

提案手法

• 核の位置・サイズ・細胞密度・核多様性を制御した初期の合成組織病理パッチを生成する。
• 核を除去して背景パッチを作成するために、単純な教師なしのサブセグメンテーションを使用し、実際のEosinチャネルから前景核の質感をシミュレートする。
• 前景核の質感を背景パッチと組み合わせて初期の合成画像と対応するセグメンテーションマスクを形成する。
• コンテンツを保持しつつスタイルを実データの参照画像へ転送する GAN ベースのリファイナーで初期の合成画像を洗練させる。
• 画像リファイナーとタスク特異的CNN（例：セグメンテーションのためのU-net）を共同で訓練し、タスクロスを最大化することでオン・ザ・フライ難例を導入する。
• リファイナーの三部構成の損失を採用する：L_G = alpha L_G^real + beta L_G^reg + gamma L_G^hard、正則化・リアリズム・難例成分（および識別子D）を用いてスタイル転送とリアリズムを導く。

実験結果

リサーチクエスチョン

• RQ1 教師なしの合成は、核分割のために現実的かつタスク関連な組織病理画像を生成できるか？
• RQ2 監視データが限られている、または利用できない場合に、合成データで分割性能が向上するか？
• RQ3 リファイナーとオン・ザ・フライ難例生成を結合することで、静的データや標準データ拡張と比較して下流タスクの性能が改善されるか？
• RQ4 アプローチは異なるがん種や組織スタイルに対して堅牢か？
• RQ5 実データの参照スタイルガイダンスと難例生成の寄与は分割性能にどの程度寄与するか？

主な発見

データセット	方法	DICE 平均
MICCAI15	Synthesis CAE-CNN (proposed)	0.8424
MICCAI15	Synthesis U-net (proposed)	0.8063
MICCAI15	Synthesis CNN (proposed)	0.8254
MICCAI15	Synthesis CAE-CNN with supervision cost, Universal	0.8362
MICCAI15	U-net with supervision cost, Universal	0.7984
MICCAI15	CNN with supervision cost, Across cancer	0.7818
MICCAI17	Synthesis CAE-CNN (proposed)	0.7731
MICCAI17	Synthesis U-net (proposed)	0.7631
MICCAI17	Synthesis CNN (proposed)	0.7738
MICCAI17	Synthesis CAE-CNN with supervision cost, Universal	0.7681
MICCAI17	CNN with supervision cost, Universal	0.7713
MICCAI17	CNN with supervision cost, Across cancer	0.7314

• 提案手法はMICCAI15およびMICCAI17データセットで核分割性能が競争力をもち、がん種間の監視ラベルが存在しない場合に転移学習を超える。
• すべてのがん種に対して監視データが利用可能な場合、教師なし合成アプローチは監視なしコストなしで最先端の監視付き手法と同等以上の性能を示す。
• アブレーションにより、実データ参照スタイル画像の使用とオン・ザ・フライ難例生成の両方が分割性能の向上に寄与することが示され（相対的6%-9%の改善）、.
• 病理医の評価は、洗練された合成パッチのかなりの部分が実物のように見えることを示し、合成画像の現実味を裏付けた。
• このアプローチは病理学を超えてSVHN風の数字の合成にも適用可能で、リファインメントフレームワークのより広い適用性を示す。