[論文レビュー] Slide-free MUSE Microscopy to H&E Histology Modality Conversion via Unpaired Image-to-Image Translation GAN Models

Tanishq Mathew Abraham, Andrew Shaw+3 more|arXiv (Cornell University)|Aug 19, 2020

Cell Image Analysis Techniques参考文献 11被引用数 6

ひとこと要約

本稿では、スライドフリーのMUSE顕微鏡画像を仮想H&E染色組織像に変換する、CycleGANに基づく非ペaired画像間翻訳フレームワークを提案する。病理医が馴染みのあるH&Eの視覚的手がかりを用いてMUSEデータを解釈できるようにする。本手法は、視覚的リアリズムにおいて最先端の性能を達成しており、CycleGANがDualGANおよびGANILLAを上回り、質的および評価者ベースの定量的評価の両方で優れている。特に、コンテンツの保存性を向上させるためにMUSE画像の色反転を施した場合に顕著である。

ABSTRACT

MUSE is a novel slide-free imaging technique for histological examination of tissues that can serve as an alternative to traditional histology. In order to bridge the gap between MUSE and traditional histology, we aim to convert MUSE images to resemble authentic hematoxylin- and eosin-stained (H&E) images. We evaluated four models: a non-machine-learning-based color-mapping unmixing-based tool, CycleGAN, DualGAN, and GANILLA. CycleGAN and GANILLA provided visually compelling results that appropriately transferred H&E style and preserved MUSE content. Based on training an automated critic on real and generated H&E images, we determined that CycleGAN demonstrated the best performance. We have also found that MUSE color inversion may be a necessary step for accurate modality conversion to H&E. We believe that our MUSE-to-H&E model can help improve adoption of novel slide-free methods by bridging a perceptual gap between MUSE imaging and traditional histology.

研究の動機と目的

• 新しいスライドフリーMUSE顕微鏡と従来のH&E組織像の間の知覚的ギャップを埋める。H&E組織像は病理学分野におけるゴールドスタンダードのままである。
• ペア化されたトレーニングデータを必要とせずに、MUSE画像をH&Eに似せた外観に変換する課題に対処する。
• MUSE入力からリアルな仮想H&E画像を生成する能力について、複数の非ペア画像間翻訳GANモデルを評価・比較する。
• 特にMUSE画像の色反転を含む最適な前処理手順を特定し、モダリティ翻訳の忠実度を向上させる。
• ペアの正解データが存在しない状況下で、画像のリアリズムを評価するための堅牢な、準定量的評価フレームワークを構築する。

提案手法

• MUSE画像（X）をH&E画像（Y）に変換するために、非ペア画像間翻訳としてCycleGAN、DualGAN、GANILLAを用いる。ピクセルが対応するトレーニングペアを必要としない。
• サイクル整合性損失を適用：L_cycle = E_x[||G_Y(G_X(x)) - x||_1] + E_y[||G_X(G_Y(y)) - y||_1] とし、サイクル回復とコンテンツ保存を強制する。
• 正則化のためのアイデンティティ損失を統合：L_identity = E_y[||G_X(y) - y||_1] + E_x[||G_Y(x) - x||_1] とし、特徴の整合性を向上させる。
• 両ドメインに70×70のPatchGAN識別器を用い、生成画像の局所的リアリズムを強化する。
• タイリング推論を実施し、重複する512×512ピクセルのパッチとストライド256を用い、大規模な全スライド画像を処理。タイリングアーチファクトを最小限に抑える。
• 実際のH&E画像と生成されたH&E画像を用いて外部の評価者モデルをトレーニングし、リアリズムを定量的に評価。高い精度は生成品質が低いことを示唆する。

実験結果

リサーチクエスチョン

• RQ1 非ペアGANベースの画像翻訳は、ペアのトレーニングデータが存在しない状況下でも、MUSE顕微鏡画像を視覚的に説得力のある仮想H&E画像に効果的に変換できるか？
• RQ2 MUSE画像の色反転は、GANベースのモダリティ翻訳モデルの性能を向上させるか？
• RQ3 CycleGAN、DualGAN、GANILLAの中では、どのモデルが視覚的忠実度および構造的保存性の観点から最もリアルな仮想H&E画像を生成するか？
• RQ4 実際のH&E画像と生成されたH&E画像を用いてトレーニングされた外部評価者モデルは、正解データが存在しない状況下で画像品質評価の信頼できる代理指標として機能するか？
• RQ5 モデルの推論速度およびタイリングの一貫性は、このようなモデルを全スライド画像処理に実用的に導入する上でどのような影響を及ぼすか？

主な発見

• CycleGANが視覚的品質で最良の性能を示し、外部評価者モデルが偽物画像の分類精度を71.9%（エポック10）まで低下させた。これは、最もリアルな出力であることを示している。
• GANILLAも良好な性能を示したが、CycleGANに劣り、評価者モデルの精度がエポック10で84.4%に達した。これは、より検出可能なアーチファクトがあることを示唆している。
• DualGANは最もリアルでない結果を出した。評価者モデルの精度がエポック20で100%に達した。これは、一般化能力が低く、H&Eの外観を模倣できていないことを示している。
• MUSE画像の色反転は、翻訳に成功する上で不可欠であった。これは、MUSEにおける明るい核とH&Eにおける暗い核の間のモデルの不整合を是正したためである。
• 重複あり（ストライド256）のタイリング推論は、非重複推論と比較して顕著に目立つタイリングアーチファクトを低減させ、マットンの整合性を向上させた。
• 評価者ベースの評価法は視覚的検査と一貫性を示し、正解データが存在しないGANベースのモダリティ翻訳のための準定量的ベンチマークとしての有効性を裏付けた。