[論文レビュー] Synthetic data for unsupervised polyp segmentation

Enric Moreu, Kevin McGuinness+1 more|arXiv (Cornell University)|Feb 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、3DレンダリングとCycleGANベースのドメイン適応を用いて生成された合成データを用いた完全無教師なポリープセグメンテーション手法を提案しており、医療専門家によるアノテーションを一切用いずに、実世界のデータセットで競争力ある性能を達成している。主な貢献は、深度と3Dメッシュアノテーションを備えた20,000枚の合成画像を含むSynth-Colonというデータセットで、限られた実データでも最先端の結果を実現可能である。

ABSTRACT

Deep learning has shown excellent performance in analysing medical images. However, datasets are difficult to obtain due privacy issues, standardization problems, and lack of annotations. We address these problems by producing realistic synthetic images using a combination of 3D technologies and generative adversarial networks. We use zero annotations from medical professionals in our pipeline. Our fully unsupervised method achieves promising results on five real polyp segmentation datasets. As a part of this study we release Synth-Colon, an entirely synthetic dataset that includes 20000 realistic colon images and additional details about depth and 3D geometry: https://enric1994.github.io/synth-colon

研究の動機と目的

• ポリープセグメンテーションにおけるプライバシー、標準化、専門家によるアノテーションの制限による、アノテート済み医療画像データの不足を解決する。
• 実世界の医療アノテーションに依存しない完全無教師パイプラインの開発。
• 3DレンダリングとGANベースのドメイン適応を用いて、高精細な合成コロノスコピー画像と正確なポリープセグメンテーションマスクの生成。
• 合成データが、限られた実データ環境下でも、実際のポリープセグメンテーションベンチマークで競争力ある性能を達成できることを実証。一部の教師あり手法を上回ることも。
• 深度と3Dジオメトリを備えた、公開可能な最大規模の合成ポリープセグメンテーションデータセットであるSynth-Colonのリリース。

提案手法

• 可変な解剖学的および幾何的パrameterを備えた3Dレンダリングエンジンを用いて、合成されたコロニーおよびポリープ構造を生成。
• 3Dエンジンの内部ジオメトリと空間的関係を活用して、ポリープのグランドトゥルースセグメンテーションマスクを自動的に生成。
• 実際のコロノスコピー画像へのドメインシフトを補正するために、ターゲットデータセットからの実画像のみを用いて、CycleGANを適用。
• 人為的アノテーションが一切不要な状態で、リアルな合成画像と自動生成されたセグメンテーションマスクを用いてHarDNeT-MSEGモデルを学習。
• 合成データと実データの分布を敵対的トレーニングにより一致させることで、自己生成されたセグメンテーションアノテーションをドメイン適応中に保持。
• 統合データセットではなく、ターゲット固有の実画像のみを用いてCycleGANを最適化することで、ドメインギャップを最小限に抑え、リアルさを向上。

実験結果

リサーチクエスチョン

• RQ1 医療専門家のアノテーションを一切用いずに、合成データのみでポリープセグメンテーションモデルを学習可能か？
• RQ2 CycleGANによるドメイン適応は、合成ポリープ画像を実コロノスコピー領域に効果的に転送できるか？
• RQ3 合成データのみで、完全教師あり手法と同等の性能を達成できるか、その限界はどこか？
• RQ4 限られた実データの可用性において、無教師の合成アプローチの性能はどのようにスケーリングされるか？
• RQ5 深度と3Dメッシュアノテーションを備えた合成データは、ポリープセグメンテーションや深度推定などの下流タスクにどのように寄与できるか？

主な発見

• 提案手法は、CVC-Tで0.703、ColonDBで0.521、Kvasirで0.759の平均Diceスコアを達成し、人為的アノテーションが一切不要な状態で強力な性能を示した。
• Kvasirデータセットでは、CycleGAN学習に僅か5枚の実画像のみを用いた場合でもDiceスコア0.642を達成し、50枚未満の実画像が利用可能な状況では、教師ありHarDNeT-MSEGモデルを上回った。
• Synth-Colonで学習したモデルは、CVC-TおよびKvasirデータセットにおいて、複数の完全教師ありベースラインを上回った。これは、ドメイン適応を施した合成データの有効性を示している。
• 統合データセットではなく、ターゲット固有の実画像を用いてCycleGANを学習させたことで、より優れた性能が得られた。これは、ドメイン固有の適応の重要性を示している。
• リリースされたSynth-Colonデータセットには、対応するセグメンテーションマスク、深度マップ、OBJ形式の3Dメッシュを備えた20,000枚の合成コロニー画像が含まれており、医療画像研究における幅広い利用が可能である。
• ドメインシフトの過程でも、自己生成されたセグメンテーションアノテーションが正常に保持された。これは、人為的ラベルなしでリアルな合成データに基づく信頼性の高い学習が可能であることを示している。