[論文レビュー] GAN-based Virtual Re-Staining: A Promising Solution for Whole Slide Image Analysis

Zhaoyang Xu, Huang, Xingru+3 more|arXiv (Cornell University)|Jan 13, 2019

Cell Image Analysis Techniques参考文献 20被引用数 75

ひとこと要約

この論文は、条件付きCycleGAN（cCGAN）を提案し、H&E全スライド画像をIHC風画像へ翻訳して仮染色を行い、パッチレベルのラベルとフォトリアリズム/SSIM損失を組み込んで構造を保持する。

ABSTRACT

Histopathological cancer diagnosis is based on visual examination of stained tissue slides. Hematoxylin and eosin (H\&E) is a standard stain routinely employed worldwide. It is easy to acquire and cost effective, but cells and tissue components show low-contrast with varying tones of dark blue and pink, which makes difficult visual assessments, digital image analysis, and quantifications. These limitations can be overcome by IHC staining of target proteins of the tissue slide. IHC provides a selective, high-contrast imaging of cells and tissue components, but their use is largely limited by a significantly more complex laboratory processing and high cost. We proposed a conditional CycleGAN (cCGAN) network to transform the H\&E stained images into IHC stained images, facilitating virtual IHC staining on the same slide. This data-driven method requires only a limited amount of labelled data but will generate pixel level segmentation results. The proposed cCGAN model improves the original network \cite{zhu_unpaired_2017} by adding category conditions and introducing two structural loss functions, which realize a multi-subdomain translation and improve the translation accuracy as well. % need to give reasons here. Experiments demonstrate that the proposed model outperforms the original method in unpaired image translation with multi-subdomains. We also explore the potential of unpaired images to image translation method applied on other histology images related tasks with different staining techniques.

研究の動機と目的

• 仮染色の必要性を動機づけ、低コントラストのH&Eの制約を克服し高価なIHCへの依存を減らす。
• H&Eから仮IHCを生成する多クラスのアンペアなし画像間翻訳モデルを開発する。
• 翻訳中の元組織の構造忠実性を保証するため、特殊な損失関数を用いる。
• 仮染色を通じて組織のセグメンテーションと下流のAI分析を改善する。

提案手法

• 組織クラスの条件入力を用いたCycleGANを拡張（マルチサブドメイン翻訳）。
• パッチごとの分類器を結合してサブドメイン表現の正確さを強制する。
• 翻訳中の構造と質感を保持するためにフォトリアリズム損失とSSIM損失を導入。
• 生成器・識別器・分類器を訓練するため、条件付き敵対損失、サイクル損失、分類損失の組み合わせを用いる。
• 加重損失Lを最適化して、cGAN、cycle、identity、class、clcyc、SSIM、フォトリアリズム項をバランス（Eq. 11）。

実験結果

リサーチクエスチョン

• RQ1 アン paired dataを用いずに、H&EからIHCへの多クラス仮染色を正確に生成できるのか。
• RQ2 パッチレベルの分類情報を追加することで翻訳品質とサブドメインの一貫性が改善されるのか。
• RQ3 フォトリアリズム損失とSSIM損失は仮染色中の組織構造を保持するのか。
• RQ4 提案損失が元の形態をどの程度保持しつつ正しい染色スタイルを実現するか。

主な発見

• 提案された損失を用いたcCGANは、CycleGANと比較して仮染色品質を改善し、特に訓練データが限られた混成成分に対して効果的である。
• 最良の設定として γ=0.5、α=0.5、β=1 が見つかった。
• 定量的結果はクラスごとに異なる正確性を示し、TF、HB、HF、TNはデータのバランスと複雑さに応じて課題が異なる。
• 病理医の評価では、CycleGANと比較して内容の保持と想像的アーティファクトの低減が示唆された。
• ラベル依存を減らすための、ゼロショットまたは教師なし拡張を今後の課題として議論している。