[論文レビュー] Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning

Nassim Bouteldja, Barbara M. Klinkhammer+3 more|arXiv (Cornell University)|Jan 1, 2021

AI in cancer detection被引用数 2

ひとこと要約

本論文は、腎組織画像の不塩基的染色間翻訳を可能にする、自己教師あり・メタラーニング強化型CycleGANを提案する。セマンティックガイドとして事前学習済みのセグメンテーションネットワークを統合し、再構成の曖昧さを解消するための追加チャネルを導入することで、線条体、尿細管、静脈のインスタンスレベルのDiceスコアが78–92%に達した。一方、動脈の翻訳は依然として不十分であり、普遍的に適用可能な模擬染色を達成するには現在の限界が残っていることを示している。

ABSTRACT

In digital pathology, many image analysis tasks are challenged by the need for large and time-consuming manual data annotations to cope with various sources of variability in the image domain. Unsupervised domain adaptation based on image-to-image translation is gaining importance in this field by addressing variabilities without the manual overhead. Here, we tackle the variation of different histological stains by unsupervised stain-to-stain translation to enable a stain-independent applicability of a deep learning segmentation model. We use CycleGANs for stain-to-stain translation in kidney histopathology, and propose two novel approaches to improve translational effectivity. First, we integrate a prior segmentation network into the CycleGAN for a self-supervised, application-oriented optimization of translation through semantic guidance, and second, we incorporate extra channels to the translation output to implicitly separate artificial meta-information otherwise encoded for tackling underdetermined reconstructions. The latter showed partially superior performances to the unmodified CycleGAN, but the former performed best in all stains providing instance-level Dice scores ranging between 78% and 92% for most kidney structures, such as glomeruli, tubules, and veins. However, CycleGANs showed only limited performance in the translation of other structures, e.g. arteries. Our study also found somewhat lower performance for all structures in all stains when compared to segmentation in the original stain. Our study suggests that with current unsupervised technologies, it seems unlikely to produce generally applicable simulated stains.

研究の動機と目的

• 単一の染色法で学習された深層学習モデルの一般化を妨げる、デジタル病理学における染色間のばらつきに取り組む。
• 動脈のような複雑な組織像の翻訳に限界を示す既存の非教師ありドメイン適応手法を克服する。
• ターゲット染色法の手動アノテーションを一切必要とせず、模擬染色で学習した深層学習モデルにより、染色独立型セグメンテーションを実現する。
• 自己教師ありとメタラーニングを用いて、実用的で現実的な画像翻訳が、翻訳の正確性を向上させることで達成可能かどうかを検証する。
• 診断に必要な形態的特徴を保持する「普遍的に適用可能な」模擬染色を生成する可能性を評価する。

提案手法

• 腎組織画像の免疫ヒストケミカル（IHC）染色とパラフィン包埋・シューリヒン染色（PAS）染色の間で、非教師ありの染色間翻訳を実現するため、CycleGANを適応する。
• 臨床的に重要な構造を保存する方向に翻訳をガイドするため、事前学習済みのU-Netセグメンテーションネットワークを自己教師あり損失として統合する。
• 生成器出力に追加の特徴チャネルを導入し、不定な再構成の曖昧さを低減するメタ情報の暗黙的符号化を実現する。
• 構造的忠実度を向上させるために、サイクル整合性損失、敵対的損失、およびセグメンテーションに基づく知覚的損失を組み合わせて、モデルをエンドツーエンドで訓練する。
• トレーニング中にセグメンテーションネットワークの予測結果を微分可能な監視信号として用い、翻訳がセマンティックタスクの目的と整合するように調整する。
• 訓練済みモデルを用いて、IHC染色の腎スライドをPAS様の外観に翻訳し、後続のセグメンテーション評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションネットワークによる自己教師ありのセマンティックガイドが、デジタル病理学における非教師あり染色間翻訳の品質とタスク関連性を向上させられるか？
• RQ2 生成器の追加出力チャネルが、特に複雑な構造において、画像間翻訳の曖昧さをどれほど解消できるか？
• RQ3 本物のPAS染色スライドで学習したセグメンテーションモデルが、CycleGANベースの手法でIHC染色から翻訳された画像にどれほど一般化できるか？
• RQ4 どの組織像（例：糸球体、尿細管、動脈）が最も信頼性高く翻訳され、翻訳性能を制限する要因は何か？
• RQ5 診断に必要な形態的特徴を保持する「普遍的に適用可能な」模擬染色を、現在の非教師あり手法で生成することは可能か？

主な発見

• セグメンテーションネットワークを統合したモデルが最高の性能を示し、全染色法において糸球体、尿細管、静脈のインスタンスレベルのDiceスコアが78%～92%の範囲に達した。
• 動脈の翻訳は依然として不十分であり、構造がしばしば尿細管と混同されるなど、非教師あり学習下での微細な形態的特徴の捉えこぼれが顕著に現れた。
• 翻訳画像のわずかな、人間には判別困難な変化が、セグメンテーションの予測可能性に顕著な影響を及ぼしており、Diceスコア分布の標準偏差が高かったことから、その影響が裏付けられた。
• 翻訳画像上のセグメンテーション性能は、本物のPAS染色スライド上の性能より常に低く、現在の翻訳手法がすべての診断に必要な特徴を完全に保持していないことを示唆した。
• セグメンテーションによる自己教師あり統合により、腎の主要構造の翻訳忠実度が向上し、タスク特化型最適化の価値が実証された。
• 本研究は、現在の非教師あり手法では、普遍的に適用可能な模擬染色を生成することは依然として極めて困難であると結論づけた。これは、持続的な構造的・形態的不整合が原因である。