[論文レビュー] Unsupervisedly Training GANs for Segmenting Digital Pathology with Automatically Generated Annotations

Michael Gadermayr, Laxmi Gupta+3 more|arXiv (Cornell University)|May 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 12

ひとこと要約

本論文は、形状事前知識を用いて合成アノテーションを生成し、非ペairedデータ上で画像対画像変換モデルを訓練することで、デジタル病理スライドにおける糸球体のセグメンテーションを完全に教師なしで行うGANベースの手法を提案する。シミュレートされた核をラベルドメインに組み込むことで訓練を安定化させ、サイクル整合性を実現することで、人為的アノテーションデータの2倍の量でトレーニングされた教師ありモデルと同等の性能を達成する。

ABSTRACT

Recently, generative adversarial networks exhibited excellent performances in semi-supervised image analysis scenarios. In this paper, we go even further by proposing a fully unsupervised approach for segmentation applications with prior knowledge of the objects' shapes. We propose and investigate different strategies to generate simulated label data and perform image-to-image translation between the image and the label domain using an adversarial model. Specifically, we assess the impact of the annotation model's accuracy as well as the effect of simulating additional low-level image features. For experimental evaluation, we consider the segmentation of the glomeruli, an application scenario from renal pathology. Experiments provide proof of concept and also confirm that the strategy for creating the simulated label data is of particular relevance considering the stability of GAN trainings.

研究の動機と目的

• デジタル病理分野における手動アノテーションデータの高コストと不足を解消し、人為的ラベルの必要性を排除すること。
• 実際の全スライド画像と自動生成されたアノテーションデータのみを用いて、完全教師なしのセグメンテーションタスクのトレーニングを可能にすること。
• 物体形状のリアルなシミュレーション（円形対楕円形）および追加の画像特徴（例：核）の組み込みが、GANのトレーニング安定性とセグメンテーション性能に与える影響を調査すること。
• ラベルドメインに構造的事前知識を組み込むことで、ペアデータが存在しない状況でも翻訳品質が向上し、安定したサイクル整合性トレーニングが可能になることを示すこと。

提案手法

• 実際のヒストロロジー画像と合成アノテーションマスクの間で非ペア画像対画像変換を実行するため、2つの生成器と2つの識別器を備えたサイクル整合性GAN（CycleGAN）アーキテクチャを用いる。
• 糸球体をガウス分布を用いた半径と離心率を持つランダムに抽出された円形または楕円形形状としてモデル化することで、合成アノテーションマスクを生成し、空間的な妥当性を確保する。
• ラベルドメインにシミュレートされた核を組み込むことで、生成器が意味のある画像対マスクマッピングを学習できる低レベルの構造的ヒントを提供し、トレーニングの安定性を向上させる。
• ペアデータが存在しない状況でもトレーニング可能となるよう、画像をマスクに変換してから元の画像に再変換した結果が元の画像に近くなるように、サイクル整合性損失を課す。
• 実際の全スライド画像（1つのドメイン）と、形状事前知識および追加の画像特徴を用いて合成生成された二値マスク（別のドメイン）の非ペアデータセットを用いてモデルをトレーニングする。
• ラベル空間に糸球体と核の両方をモデル化する多クラス設定を採用し、変換中に微細構造を保持する能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全教師なしのGANベースのアプローチが、人為的アノテーションデータを一切使用せずに、競争力ある糸球体セグメンテーション性能を達成できるか？
• RQ2 非ペア変換設定下で、形状モデリングの選択（円形対楕円形）が、トレーニングの安定性とセグメンテーション精度に与える影響は何か？
• RQ3 ペアデータが存在しない状況で、ラベルドメインにシミュレートされた核を追加することで、トレーニングの安定性とセグメンテーション品質が顕著に向上するか？
• RQ4 アノテーションデータ量を変化させた場合、教師ありベースラインと比較して、非教師あり手法の性能はどの程度の水準に達するか？

主な発見

• 単一クラス設定（糸球体のみシミュレート）では、構造的文脈が欠如しているため、トレーニングが不安定になり、血管を糸球体と誤分類する傾向が強く、性能が著しく劣化した。
• ラベルドメインにシミュレートされた核を含む多クラス設定では、安定したトレーニングが達成され、高品質なセグメンテーションが得られ、単一クラスアプローチを著しく上回った。
• 4枚のアノテーション済みWSI（全例約1000個の糸球体）を用いた非教師あり手法の性能は、8枚のWSI（約1000個の糸球体）でトレーニングされた教師ありモデルと同等の性能を示した。
• シミュレートされた物体の形状分布（円形対楕円形）が最終的な性能に与える影響は最小限であり、正確な形状モデリングよりもサイクル整合性の維持がより重要であることが示された。
• 本手法は高い柔軟性を示し、再アノテーションを必要とせず、シミュレーションモデルの調整のみで新しい染色法や組織タイプへの適応が可能である。
• 限られたラベルデータが利用可能な状況下でも、オブジェクトレベルのF1スコアが強く、一部の教師ありベースラインを上回る結果を示し、低データ環境下での効率性が顕著に示された。