[論文レビュー] A comparative evaluation of image-to-image translation methods for stain transfer in histopathology

Igor Zingman, Sergio Frayle+3 more|arXiv (Cornell University)|Mar 29, 2023

AI in cancer detection被引用数 5

ひとこと要約

本研究では、ヒストパスロジー染色法におけるH&Eとマッソン・トリコーム染色の間での染色転送を目的として、3つの伝統的で9つのGANベースの合計12種類の画像対画像翻訳手法を評価した。CycleGANが最も優れた性能を示し、最小限の歪みとほぼ完璧な一貫性を伴う高精細で臨床的に利用可能な合成画像を生成した。他の伝統的手法やGANアーキテクチャーよりも優れていた。

ABSTRACT

Image-to-image translation (I2I) methods allow the generation of artificial images that share the content of the original image but have a different style. With the advances in Generative Adversarial Networks (GANs)-based methods, I2I methods enabled the generation of artificial images that are indistinguishable from natural images. Recently, I2I methods were also employed in histopathology for generating artificial images of in silico stained tissues from a different type of staining. We refer to this process as stain transfer. The number of I2I variants is constantly increasing, which makes a well justified choice of the most suitable I2I methods for stain transfer challenging. In our work, we compare twelve stain transfer approaches, three of which are based on traditional and nine on GAN-based image processing methods. The analysis relies on complementary quantitative measures for the quality of image translation, the assessment of the suitability for deep learning-based tissue grading, and the visual evaluation by pathologists. Our study highlights the strengths and weaknesses of the stain transfer approaches, thereby allowing a rational choice of the underlying I2I algorithms. Code, data, and trained models for stain transfer between H&E and Masson's Trichrome staining will be made available online.

研究の動機と目的

• ヒストパスロジーにおける染色転送のための12種類の画像対画像翻訳手法の性能を体系的に評価すること。
• 深層学習を用いた組織グレーディングの応用において、実際の染色画像と生成画像の両方を用いた場合の妥当性を評価すること。
• 専門病理医が実画像と人工的に染色された組織画像を区別できるかを評価すること。
• 染色転送応用における最適なI2I手法の選定のためのベンチマークを提供すること。
• H&Eからマッソン・トリコーム染色、およびその逆方向の染色転送用に、コード、データ、およびトレーニング済みモデルを公開すること。

提案手法

• 12種類のI2I手法を評価：3つの伝統的手法（Macenko, Vahadane, Reinhard）と9つのGANベース手法（CycleGAN, StainGAN, UNIT, DRIT, MUNIT, CUT, StainNet, ColorStat, Pix2Pix, UTOM）。
• トレーニングおよび評価に、CAMELYON16データセットのH&Eおよびマッソン・トリコーム染色のペアド全スライド画像を用いた。
• 定量的指標として、MSE、MAE、SSIM、FIDを用い、画像翻訳の品質およびコンテンツ保持度を評価した。
• 実際のMT染色画像を用いてトレーニングした深層学習モデルを、生成されたMT画像を入力として与えた場合の性能を評価した。
• 200枚の実画像と200枚の生成画像を用いた盲検評価を通じて、病理医による知覚的リアリズムを検証した。
• 評価には300×300ピクセルの画像タイルを用い、サイズ制限のためPix2PixおよびUTOMは除外した。

実験結果

リサーチクエスチョン

• RQ1 どのI2I手法がヒストパスロジー画像におけるH&Eとマッソン・トリコーム染色間の最も現実的な染色転送を実現するか？
• RQ2 異なるI2I手法は、組織グレーディングタスクにおける下流の深層学習モデルの性能にどのように影響を与えるか？
• RQ3 専門病理医は、実画像と人工的に染色されたヒストパスロジー画像をどの程度正確に区別できるか？
• RQ4 伝統的手法と現代のGANベース手法の染色転送品質を比較すると、どのような差異が生じるか？
• RQ5 どのI2I手法が画像忠実度、コンテンツ保持度、臨床的有用性のバランスを最も良く満たしているか？

主な発見

• CycleGANは、MTからH&Eへの染色転送に用いられた場合、炎症スコア予測において最小のMSE（1.1±0.2）とMAE（8.6±0.7）を達成し、実データと高い一貫性を示した。
• StainGANとUNITもCycleGANと同等の性能を示し、理論的最適値に近いMSEおよびMAE値を示した。また、高いSSIMと低いFIDスコアを達成した。
• 伝統的手法（Macenko, Vahadane, Reinhard）は性能が低く、それぞれMSEが9.7±0.7および10.3±0.7であった。これは顕著な歪みと劣悪な転送品質を示している。
• 病理医はCycleGANで生成された画像と実画像を信頼性高く区別できず、ランダムな推測と同程度の正確さ（P1: 51.5%, P2: 53%）であった。これは高い知覚的リアリズムを示している。
• MUNITで生成された画像はより区別されやすく、病理医の正確さは57%および66%であった。これは検出可能なアーティファクトやスタイルの不一致を示唆している。
• ピクセル単位の手法（StainNetなど）および伝統的手法は、一部の指標では忠実度が高かったが、顕著な歪みを引き起こし、染色転送には不適切であった。