[論文レビュー] FFusionCGAN: An end-to-end fusion method for few-focus images using conditional GAN in cytopathological digital slides

Xiebo Geng, Sibo Liua+8 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Image Fusion Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、少量のフォーカスまたは単一フォーカスの細胞病理学的デジタルスライドを、高品質で完全にフォーカスが合った画像に統合するエンドツーエンドの条件付きGANベースの手法、FFusionCGANを提案する。U-NetとDenseBlockに基づく生成器に、曇りやすい領域を特定するためのセマンティックセグメンテーションネットワークを統合することで、手動で設計された統合ルールに依存せずに、直接的な画像間変換を学習し、テクスチャの明瞭さと被写界深度において優れた性能を達成する。

ABSTRACT

Multi-focus image fusion technologies compress different focus depth images into an image in which most objects are in focus. However, although existing image fusion techniques, including traditional algorithms and deep learning-based algorithms, can generate high-quality fused images, they need multiple images with different focus depths in the same field of view. This criterion may not be met in some cases where time efficiency is required or the hardware is insufficient. The problem is especially prominent in large-size whole slide images. This paper focused on the multi-focus image fusion of cytopathological digital slide images, and proposed a novel method for generating fused images from single-focus or few-focus images based on conditional generative adversarial network (GAN). Through the adversarial learning of the generator and discriminator, the method is capable of generating fused images with clear textures and large depth of field. Combined with the characteristics of cytopathological images, this paper designs a new generator architecture combining U-Net and DenseBlock, which can effectively improve the network's receptive field and comprehensively encode image features. Meanwhile, this paper develops a semantic segmentation network that identifies the blurred regions in cytopathological images. By integrating the network into the generative model, the quality of the generated fused images is effectively improved. Our method can generate fused images from only single-focus or few-focus images, thereby avoiding the problem of collecting multiple images of different focus depths with increased time and hardware costs. Furthermore, our model is designed to learn the direct mapping of input source images to fused images without the need to manually design complex activity level measurements and fusion rules as in traditional methods.

研究の動機と目的

• 時間的・ハードウェア的制約により、複数のフォーカス深度の画像を取得することが現実的でない細胞病理学的デジタルスライドにおけるマルチフォーカス画像統合の課題に対処すること。
• 手動で設計された統合ルールや活動レベルの測定に依存する従来の統合手法の限界を克服すること。
• 単一または少数のフォーカス入力から高品質な統合画像を生成できるエンドツーエンドのディープラーニングフレームワークの開発。
• U-NetとDenseBlockを組み合わせた新規アーキテクチャにより、生成器における特徴表現と受容野の向上。
• 曇った領域の検出と再構築をガイドするセマンティックセグメンテーションネットワークの統合により、統合品質の向上。

提案手法

• 生成器が入力の単一または少数フォーカス画像を完全にフォーカスが合った統合画像にマッピングする条件付きGANフレームワークを提案。
• スキップ接続と特徴伝搬に最適なU-Netと、特徴の再利用と受容野の拡大を促進するDenseBlockを組み合わせたハイブリッド生成器アーキテクチャを設計。
• 入力画像内の曇った領域を特定するセマンティックセグメンテーションネットワークを統合し、生成器がその領域のシャープネスを優先的に処理できるようにガイド。
• 敵対的損失を用いて生成器と判別器をエンドツーエンドで訓練し、統合出力におけるテクスチャの詳細と現実性を維持。
• 構造的忠実性の向上とアーティファクトの低減を図るため、知覚的損失とサイクル整合性損失を採用。
• データから直接マッピングを学習することで、手動で設計された統合ルールやフォーカス測定の計算を排除。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANベースのモデルは、細胞病理学的全スライド画像において、単一または少数のフォーカス画像からのみ高品質な統合画像を効果的に生成できるか？
• RQ2 曇った領域検出にセマンティックセグメンテーションネットワークを統合することで、統合出力の品質はどのように向上するか？
• RQ3 提案されたU-NetとDenseBlockを組み合わせたハイブリッド生成器アーキテクチャは、標準的なアーキテクチャと比較して、特徴表現と受容野をどの程度向上させるか？
• RQ4 エンドツーエンド学習アプローチは、事前に定義された統合ルールやフォーカス測定に依存する従来の統合手法を上回る性能を示すか？
• RQ5 モデルは多様な細胞病理学的スライドタイプに一般化可能であり、高いテクスチャの明瞭さと被写界深度を維持できるか？

主な発見

• 提案されたFFusionCGANモデルは、1枚または2枚の入力フォーカス画像からのみ統合画像を生成でき、複数のフォーカス深度の取得の必要性を排除した。
• セマンティックセグメンテーションネットワークの統合により、特に複雑な細胞構造において、以前に曇っていた領域のシャープネスが顕著に向上した。
• ハイブリッドU-NetとDenseBlock生成器は、より優れた特徴符号化と受容野の拡大を達成し、より現実的で詳細な統合出力をもたらした。
• SSIMやPSNRなどの定量的指標による検証により、従来の統合手法と比較して、テクスチャの明瞭さと被写界深度の両面で優れた性能を示した。
• 手動で設計された統合ルールを排除したエンドツーエンド学習により、多様な細胞病理学的スライドサンプルにおいて一貫性があり、頑健な性能を発揮した。
• 大規模な全スライド画像においても強力な一般化能力を示し、臨床的なデジタル病理学ワークフローに適していることが示された。