[論文レビュー] Adaptive Supervised PatchNCE Loss for Learning H&E-to-IHC Stain Translation with Inconsistent Groundtruth Image Pairs

Fangda Li, Zhiqiang Hu+2 more|arXiv (Cornell University)|Mar 10, 2023

AI in cancer detection被引用数 4

ひとこと要約

本論文は、不一致な正解画像ペアに起因するノイズを軽減するために、類似しないパッチペアの重みを適応的に低減する、H&EからIHCへの染色変換のための新しい対照的損失であるAdaptive Supervised PatchNCE（ASP）を提案する。本手法は、新しい公開データセットMISTを用いて複数のIHC染色に対して性能を向上させ、HER2、Ki67、ER、PR染色において、SSIM、FID、知覚的品質の面で顕著な向上を達成し、最先端の結果を実現した。

ABSTRACT

Immunohistochemical (IHC) staining highlights the molecular information critical to diagnostics in tissue samples. However, compared to H&E staining, IHC staining can be much more expensive in terms of both labor and the laboratory equipment required. This motivates recent research that demonstrates that the correlations between the morphological information present in the H&E-stained slides and the molecular information in the IHC-stained slides can be used for H&E-to-IHC stain translation. However, due to a lack of pixel-perfect H&E-IHC groundtruth pairs, most existing methods have resorted to relying on expert annotations. To remedy this situation, we present a new loss function, Adaptive Supervised PatchNCE (ASP), to directly deal with the input to target inconsistencies in a proposed H&E-to-IHC image-to-image translation framework. The ASP loss is built upon a patch-based contrastive learning criterion, named Supervised PatchNCE (SP), and augments it further with weight scheduling to mitigate the negative impact of noisy supervision. Lastly, we introduce the Multi-IHC Stain Translation (MIST) dataset, which contains aligned H&E-IHC patches for 4 different IHC stains critical to breast cancer diagnosis. In our experiment, we demonstrate that our proposed method outperforms existing image-to-image translation methods for stain translation to multiple IHC stains. All of our code and datasets are available at https://github.com/lifangda01/AdaptiveSupervisedPatchNCE.

研究の動機と目的

• ヒストパスロジーにおける組織断面化や染色ばらつきに起因する不一致なH&E-IHC正解画像ペアの課題に対処すること。
• 診断的に相関するが完璧ではないH&E-IHCペアを活用する、耐性のある学習フレームワークの開発。
• ピクセル単位で完全でない画像ペアからのノイズの多い教師信号に対しても、画像間変換性能を向上させること。
• 4つの主要な乳がんIHC染色（HER2、Ki67、ER、PR）に対応する、アライメント済みのH&E-IHCパッチを含む新しい公開データセットMISTの提供。

提案手法

• Supervised PatchNCE（SP）に基づくパッチベースの対照的損失である、Adaptive Supervised PatchNCE（ASP）を提案。この損失は、H&EとIHCパッチ間の特徴埋め込みを整列させる。
• 生成されたIHCパッチと正解IHCパッチの埋め込み間の局所的類似度に基づき、対照的損失に適応的重み付けを導入。不一致領域の影響を低減。
• パッチレベルの類似度に基づいて損失寄与度を動的に調整する重みスケジューリング戦略を採用。ノイズに強い性能を向上。
• GANベースの画像間変換フレームワークに、ResNet-6Blocks生成器とPatchGAN判別器を採用。
• トレーニング中にバッチサイズ1でランダムな512×512クロップを適用。Adam最適化手法を用い、線形減衰の学習率スケジューリングを実装。
• 包括的な評価のため、知覚的および構造的指標（SSIM、PHV、FID、KID）を活用。

Figure 1 : Illustration of the PatchNCE loss from [ 11 ] and the Supervised PatchNCE (SP) loss. The patch embeddings $\boldsymbol{z}$ are extracted by a shared network $F$ .

実験結果

リサーチクエスチョン

• RQ1 対照的学習に基づく損失は、染色変換における不一致なH&E-IHC正解ペアを効果的に処理できるか？
• RQ2 パッチ類似度に基づく適応的重み付けは、ノイズの多い教師信号に対するモデルの耐性をどのように向上させるか？
• RQ3 提案されたASP損失は、複数のIHC染色において、既存の画像間変換手法をどれほど上回るか？
• RQ4 提案手法は、HER2、Ki67、ER、PRを含む、異なるIHC染色に一般化可能か？
• RQ5 複数のIHC染色に対応するアライメント済みH&E-IHCパッチを含む新しい公開データセットは、より良いベンチマーク化と再現可能性を可能にするか？

主な発見

• 提案されたASP損失は、すべての4つのIHC染色（HER2、Ki67、ER、PR）で最高の性能を達成し、FIDとKIDが最小、SSIMとPHVが最大となった。
• MIST_{HER2}データセットでは、線形トップスケジューリングを用いたASPがFID 51.2、KID 16.7を達成。SPベースライン（FID 61.9、KID 9.8）を上回った。
• MIST_{ER}では、ASP損失が線形-λスケジューリングによりFIDを46.4（SPベースライン）から41.4に低下。分布の整合性が向上した。
• シグモイドトップスケジューリングを用いたASP損失は、MIST_{HER2}でFID 45.2を達成。適応的重み付けの有効性を示した。
• 定性的な比較により、生成されたIHC画像の視覚的整合性と病理的表現の忠実度が顕著に向上した。
• 1つの染色あたり4,000枚以上のトレーニングパッチと1,000枚以上のテストパッチを含むMISTデータセットは、今後のH&EからIHCへの変換研究の再現可能なベンチマークを可能にした。

Figure 2 : (a) Input H&E image $\boldsymbol{x}$ , (b) generated IHC image $\boldsymbol{\hat{y}}$ , (c) groundtruth IHC image $\boldsymbol{y}$ , and (d) heat map of the anchor-positive cosine similarities produced by a trained network at corresponding locations: $C_{s}=\boldsymbol{z}_{\boldsymbol{\ha