[論文レビュー] Detection of Parasitic Eggs from Microscopy Images and the emergence of a new dataset

Perla Mayo, Nantheera Anantrasirichai+3 more|arXiv (Cornell University)|Mar 6, 2022

Digital Imaging for Blood Diseases被引用数 8

ひとこと要約

本論文では、Pix2Pix GANを用いた画像強化の後にFaster R-CNNを用いた対象検出を行う2段階のディーブラーニングフレームワークを提案する。この手法は、GANで強化された画像を用いて検出器を訓練することで、特に再現率とF1スコアにおいて性能向上を達成し、今後の研究を支援するための新しい公開データセットを提供する。

ABSTRACT

Automatic detection of parasitic eggs in microscopy images has the potential to increase the efficiency of human experts whilst also providing an objective assessment. The time saved by such a process would both help ensure a prompt treatment to patients, and off-load excessive work from experts' shoulders. Advances in deep learning inspired us to exploit successful architectures for detection, adapting them to tackle a different domain. We propose a framework that exploits two such state-of-the-art models. Specifically, we demonstrate results produced by both a Generative Adversarial Network (GAN) and Faster-RCNN, for image enhancement and object detection respectively, on microscopy images of varying quality. The use of these techniques yields encouraging results, though further improvements are still needed for certain egg types whose detection still proves challenging. As a result, a new dataset has been created and made publicly available, providing an even wider range of classes and variability.

研究の動機と目的

• 低品質な顕微鏡画像における寄生虫の卵を自動かつ堅牢に検出する手法を開発すること。特に、リソース制限のある環境で一般的な劣悪な画像品質条件下でも有効であることを目的とする。
• 低価格の機器、照明の変化、ブレ、色調のずれなどに起因する画像品質のばらつきに対処すること。
• 対象検出の前段階として、GANベースの画像強化手順を統合することで、検出性能を向上させること。
• 今後の研究を支援するため、寄生虫の卵の多様な画像を含む新しいデータセットを作成・公開すること。
• 画像劣化によって引き起こされる分布シフトの条件下での検出モデルの汎化能力を評価すること。

提案手法

• 2段階のフレームワークを採用する：まず、Pix2Pix GANを用いて低品質な顕微鏡画像を高品質な表現に強化する。
• 強化された画像を用いて、Faster R-CNNを用いて寄生虫の卵を同定・局所化する対象検出モデルを訓練する。
• 多様な画像状態にわたる堅牢性と汎化能力を確保するため、5分割交差検証を用いてフレームワークを評価する。
• 耐性評価のため、色のジャイタ、明るさ/コントラストの変更、回転、反転などのオーグメンテーションを用いてテスト時に画像劣化をシミュレートする。
• オリジナル画像、劣化画像、強化画像の3つの入力条件でモデルをテストし、性能を比較する。
• 画像強化が検出性能に与える影響を分離して評価するため、訓練および評価パイプラインを設計し、さまざまな強化戦略に対するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像強化ステップは、低品質な顕微鏡画像における寄生虫の卵検出性能を向上させることができるか？
• RQ2 訓練時に見られなかった画像劣化要因（例：ブレや照明変化）を含む画像でテストした場合、検出モデルの性能はどの程度か？
• RQ3 Faster R-CNN検出器をGANで強化された画像で訓練することで、実際の低品質画像で訓練した場合よりも良好な汎化性能が得られるか？
• RQ4 異なる画像強化技術（Pix2Pix 対 CycleGAN）が、最終的な検出精度に与える影響は何か？
• RQ5 共有特徴空間内で画像強化と検出を統合した統合フレームワークは、現在の2段階アプローチを上回る性能を発揮するか？

主な発見

• Pix2Pix GANで強化された画像を用いて訓練したFaster R-CNN検出器は、すべての評価設定で最高の正確性と再現率を達成し、生画像やCycleGANで強化された画像で訓練したモデルを上回った。
• Pix2Pixによる強化は、誤検出を顕著に低減し、特に検出が困難な卵の種類に対して感度を向上させた。
• GANで強化された画像で検出器を訓練した場合、実際の低品質画像で訓練した場合と比較して、劣化したテスト画像でもより良好な汎化性能を示した。
• 劣化データで検出器の再訓練を行わずに、強化と検出を統合したフレームワークは、すべての指標で一貫した性能向上を示した。
• CycleGANによる強化は再現率が低かったため、検出に悪影響を及けるアーティファクトや誤った特徴を導入する可能性があると考えられる。
• 強化ステップを検出の前段階に配置することで、色のジャイタ、明るさのずれ、ぼやけなど、さまざまな画像汚染要因に対しても、提案フレームワークは頑健であることが示された。