[論文レビュー] Stain Style Transfer using Transitive Adversarial Networks

Shaojin Cai, Yuyang Xue Qinquan Gao+4 more|arXiv (Cornell University)|Oct 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 5

ひとこと要約

本稿では、参照テンプレートスライドを必要としない、全スライド画像における染色スタイル変換のための新規GANベースの手法であるトランスティヴアドバーシャルネットワーク（TAN）を提案する。サイクル整合性フレームワークと新規の生成器アーキテクチャ「Trans-Net」を活用することで、StainGAN よりもPSNRで0.87 dB向上し、60秒のStainGANに比べて50%高速な31秒の推論時間という、最先端の性能を達成した。

ABSTRACT

Digitized pathological diagnosis has been in increasing demand recently. It is well known that color information is critical to the automatic and visual analysis of pathological slides. However, the color variations due to various factors not only have negative impact on pathologist's diagnosis, but also will reduce the robustness of the algorithms. The factors that cause the color differences are not only in the process of making the slices, but also in the process of digitization. Different strategies have been proposed to alleviate the color variations. Most of such techniques rely on collecting color statistics to perform color matching across images and highly dependent on a reference template slide. Since the pathological slides between hospitals are usually unpaired, these methods do not yield good matching results. In this work, we propose a novel network that we refer to as Transitive Adversarial Networks (TAN) to transfer the color information among slides from different hospitals or centers. It is not necessary for an expert to pick a representative reference slide in the proposed TAN method. We compare the proposed method with the state-of-the-art methods quantitatively and qualitatively. Compared with the state-of-the-art methods, our method yields an improvement of 0.87dB in terms of PSNR, demonstrating the effectiveness of the proposed TAN method in stain style transfer.

研究の動機と目的

• 異なるスキャナーや病院間でのデジタル病理スライドにおける色のばらつきの問題に対処すること。
• 従来の染色スタイル変換手法で必須とされてきた、専門家が選択した参照テンプレートスライドへの依存を排除すること。
• 病理診断やCADシステムにおける一貫性を高めるために、染色スタイル変換の品質と速度を向上させること。
• 異なる出力元の未ペairedな全スライド画像に対して、ロバストで教師なしに動作する手法を開発すること。

提案手法

• TANは、CycleGANにインspiredされたサイクル整合性GANフレームワークを採用し、異なるスキャナー（例：AperioからHamamatsuへ）のH&E染色スライド間で双方向翻訳を可能にする。
• 本手法は、高レベルの意味的およびテクスチャ情報を保持するために、8層のダウンサンプリングおよび8層のアップサンプリングを持つ新規の生成器ネットワーク「Trans-Net」を導入する。
• Trans-Netは、ダウンサンプリング／アップサンプリングの前後で低レベル特徴を加算するスキップ接続を組み込み、情報損失を低減し、色およびテクスチャの忠実度を向上させる。
• モデルは、生成器と識別器の訓練にミニマックスの adversarial loss を使用し、翻訳中の構造的保存を保証するためのサイクル整合性損失も併用する。
• 生成器は過学習を抑えるために、16層の畳み込み層のみで構成されており、トレーニングおよび推論の高速化を実現する。
• フレームワークは教師なしに動作し、ドメイン間のペア化された画像を一切必要としないため、実世界の病理画像処理に適している。

実験結果

リサーチクエスチョン

• RQ1 手動で選択された参照テンプレートスライドに依存せずに、GANベースの手法が高品質な染色スタイル変換を達成できるか？
• RQ2 提案されたTrans-Net生成器は、従来のアーキテクチャと比較して、病理画像における色、コントラスト、テクスチャの詳細をどれほど効果的に保持できるか？
• RQ3 提案手法は、最先端の染色スタイル変換技術と比較して、PSNRおよびSSIMをどの程度向上させるか？
• RQ4 性能を維持または向上させつつ、より高速な推論速度を達成できるか？

主な発見

• 提案されたTAN手法は、PSNRが22.22 dBに達し、最先端のStainGAN手法（21.35 dB）より0.87 dB向上した。
• TANのSSIMは0.812に達し、StainGANの0.785に比べ顕著な向上を示し、正解画像との構造的類似性が高くなった。
• TANの推論時間は1枚あたり31秒であり、StainGANの60秒に比べ50%高速で、計算効率の向上が裏付けられた。
• 視覚的比較では、TANが生成した画像が、StainGANおよび他のベースライン生成器と比較して、色の正確性、コントラスト、テクスチャの詳細において正解に近いことが確認された。
• 検証されたさまざまな生成器アーキテクチャ（U-Net、Res-UNet、DenseNet、Dense-UNet）の中で、Trans-NetはPSNRおよびSSIMの両面で優れており、計算時間も短い。
• ダウンサンプリング／アップサンプリング層の数が多く、特徴マッピングの統合機構を備えたTrans-Netの設計が、意味的およびテクスチャ的詳細のより良い保存に寄与している。