[論文レビュー] Domain Adaptation-based Augmentation for Weakly Supervised Nuclei Detection

Nicolas Brieu, Armin Meier+5 more|arXiv (Cornell University)|Jul 10, 2019

AI in cancer detection参考文献 17被引用数 13

ひとこと要約

本稿では、非対応の画像間変換（CycleGAN）を用いて、標的ドメイン（例：H&E）への合成ラベル付き画像を生成することで、標的ドメインのアノテーションが不要な弱教師付きドメイン適応ベースの拡張手法を提案する。この手法により、標的ドメイン（H&E）の未観測データセットにおいてf1スコア0.85を達成し、完全教師あり手法と同等の性能を示し、アノテーションが限られる状況下でも最先端の性能を実現した。

ABSTRACT

The detection of nuclei is one of the most fundamental components of computational pathology. Current state-of-the-art methods are based on deep learning, with the prerequisite that extensive labeled datasets are available. The increasing number of patient cohorts to be analyzed, the diversity of tissue stains and indications, as well as the cost of dataset labeling motivates the development of novel methods to reduce labeling effort across domains. We introduce in this work a weakly supervised 'inter-domain' approach that (i) performs stain normalization and unpaired image-to-image translation to transform labeled images on a source domain to synthetic labeled images on an unlabeled target domain and (ii) uses the resulting synthetic labeled images to train a detection network on the target domain. Extensive experiments show the superiority of the proposed approach against the state-of-the-art 'intra-domain' detection based on fully-supervised learning.

研究の動機と目的

• 多様な組織染色法や患者コhortにおけるアノテート済みヒストパスロジー画像データセットの高コストと不足問題に対処する。
• 異なるソースドメインからのアノテーションのみを用いて、標的ドメインにおける核検出を可能にすることで、デジタル病理学におけるラベリング作業を軽減する。
• 標準的な2段階ドメイン適応の限界を克服するため、1枚のソース画像から複数の多様な合成画像を生成することで、検出のロバスト性を向上させる。
• 標的ドメインのアノテーションを一切必要としない弱教師付き手法を構築し、非対応で無教師のドメイン変換を活用して染色モality間で知識を転送する。

提案手法

• ドメイン内染色正規化（例：DCGMM）を適用し、ドメイン変換の前段階でソースドメインとターゲットドメインの画像を整列させる。
• 非対応の1対1画像間変換としてCycleGANを用い、ソースドメインのラベル付き画像から現実的でターゲットドメインに似た画像を合成する。
• 1枚のソース画像から複数の合成画像を生成し、拡張されたトレーニングセットを構築することで、多様性と一般化性能を向上させる。
• ソースドメインのアノテーションのみを用いて、核検出ネットワーク（例：CNN）をトレーニングする。
• 合成ソース画像と少量の実際のターゲットドメインアノテーションを組み合わせるクロスドメイン監視戦略を導入し、性能をさらに向上させる。
• 複数のイテレーションから得たCycleGANモデルの中から、視覚的品質と検出精度に基づいて最良のモデルを選択し、劣悪な単一モデルのファインチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 非対応ドメイン適応によるCycleGANを用いた核検出知識の、ラベル付きソースドメインからラベルなしターゲットドメイン（異なる染色プロトコル）への効果的転送は可能か？
• RQ2 1枚のソース画像から複数の多様な合成画像を生成することで、単一の合成画像を用いる場合と比較して検出性能が向上するか？
• RQ3 ターゲットドメインのアノテーションが限られる状況下で、弱教師付きドメイン間検出の性能は、完全教師ありドメイン内検出と比較してどうなるか？
• RQ4 合成ソース画像と限定的な実際のターゲット画像を組み合わせたクロスドメイン監視は、純粋なドメイン間およびドメイン内手法を上回る性能を示すか？
• RQ5 アンサンブルによる合成データの性能向上は、異なるヒストパスロジー画像データセットおよび染色タイプにおいても一貫して有効であるか？

主な発見

• 提案手法によるドメイン間手法は、HEソースドメインからの合成ラベルのみを用いて、未観測のNSCLC IFデータセットでf1スコア0.85を達成し、実際のIFラベルを用いた完全教師ありトレーニングと同等の性能を示した。
• より困難なIF2HE方向では、MoNuSegおよびTNBC HEテストデータセットでそれぞれf1スコア0.85および0.81を達成した—これは完全教師あり手法（f1 = 0.86および0.84）と同等の性能であった。
• ターゲットドメインのアノテーションが限られた状況（N_HE ≤ 18K）では、弱教師付きドメイン間監視が完全教師ありドメイン内監視を上回り、アノテーション不足下での価値を示した。
• ターゲットアノテーションが限られる状況下で、合成画像と実画像を組み合わせたクロスドメイン監視が、純粋なドメイン間およびドメイン内手法を上回り、より多くのデータを用いたドメイン内性能に匹敵した。
• 最良の1つのCycleGANモデルのみを用いて合成画像を生成した場合、検出精度が著しく低下した。これは、合成データにおけるモデルアンサンブルと多様性の重要性を示している。
• 有意性検定（ペアt検定）により、提案手法の性能向上が統計的に有意かつ一貫して確認され、本手法の優位性が裏付けられた。