[論文レビュー] A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development

Tanguy Naets, Maarten Huijsmans+3 more|arXiv (Cornell University)|Mar 9, 2021

Cell Image Analysis Techniques被引用数 10

ひとこと要約

本論文では、製薬開発におけるBVG-およびBVG+細菌コロニー形成単位（CFU）を自動で数えるために、マスクR-CNNに基づくインスタンスセグメンテーションモデルを提案する。101枚のGSKがアノテートしたペトリディッシュ画像で訓練されたモデルは、50%のIoUで94%の平均平均精度（mAP）を達成し、手動での数え上げエラーを顕著に低減するとともに、希釈倍率のサポートを備えたウェブベースのSPAに統合され、ラボ技術者が結果を検証・修正できるようにする。

ABSTRACT

We present an application of the well-known Mask R-CNN approach to the counting of different types of bacterial colony forming units that were cultured in Petri dishes. Our model was made available to lab technicians in a modern SPA (Single-Page Application). Users can upload images of dishes, after which the Mask R-CNN model that was trained and tuned specifically for this task detects the number of BVG- and BVG+ colonies and displays these in an interactive interface for the user to verify. Users can then check the model's predictions, correct them if deemed necessary, and finally validate them. Our adapted Mask R-CNN model achieves a mean average precision (mAP) of 94\\% at an intersection-over-union (IoU) threshold of 50\\%. With these encouraging results, we see opportunities to bring the benefits of improved accuracy and time saved to related problems, such as generalising to other bacteria types and viral foci counting.

研究の動機と目的

• ワクチン開発中のペトリディッシュ内の細菌CFUを数える、手作業で時間がかかり、誤差の多い作業を自動化すること。
• 従来のコンピュータビジョン手法の限界、例えば重なったコロニーの処理が不十分であることや、ピクセルクラスの不均衡に対処できないこと。
• ラボ技術者が使いやすいウェブアプリケーションに統合された、生産用途に耐える強固なディープラーニングシステムの開発。
• 希釈倍率の統合により、三重希釈実験から細菌量の信頼区間を含めた正確な推定を可能にすること。
• 他の細菌種やウイルス焦点数え上げへも容易に拡張可能なスケーラブルなソリューションの提供。

提案手法

• ペトリディッシュ画像内のBVG-およびBVG+ CFUのインスタンスセグメンテーションに、Matterportが実装したマスクR-CNNを微調整した。
• 訓練には、65%を学習、15%を検証、20%をテストに分ける101枚のGSKがアノテートした画像を用いた。
• 限られた訓練データで一般化性能を向上させるために、回転などを含むデータオーグメンテーション技術を適用した。
• Vue.jsとVuetifyを用いて、ユーザーが画像をアップロードし、モデルの予測を表示し、CFU数を手動で修正できる単一ページアプリケーション（SPA）を開発した。
• 希釈倍率の入力を統合し、三重希釈実験からの総細菌数と信頼区間を計算できるようにした。
• 予測のインタラクティブな編集を可能にし、検証、削除、手動でのCFU作成が可能で、変更内容は永続的に保存された。

実験結果

リサーチクエスチョン

• RQ1 マスクR-CNNを用いたインスタンスセグメンテーションモデルは、製薬画像における重なったコロニーと不均衡なピクセルクラスを持つ細菌CFUを高精度で数え上げることができるか？
• RQ2 モデルの性能は、人間の観察者間のばらつきと比べてどの程度優れているか？
• RQ3 ウェブベースのSPAは、ラボでのCFU定量の作業効率と正確性をどの程度向上させることができるか？
• RQ4 モデルは最小限の再トレーニングで、他の細菌種やウイルス焦点に対しても一般化可能か？
• RQ5 限られた訓練データで、データオーグメンテーション（特に回転）はモデルの頑健性向上にどの程度効果的か？

主な発見

• マスクR-CNNモデルは、交差領域率（IoU）の閾値50%で94%の平均平均精度（mAP）を達成し、検出およびセグメンテーション性能が優れていることが示された。
• ユーザーとモデル間のCFU数のばらつきは、ユーザー同士のばらつきよりも顕著に低く、BVG+ではMAPEが33%、BVG-では45%であったのに対し、ユーザー間のばらつきはそれぞれ43%および68%であった。
• モデルは、背景や境界ピクセル分類に依存しないため、クラスの不均衡や重なったコロニーの問題を効果的に軽減した。
• ウェブベースのSPAにより、リアルタイムでの相互作用が可能になり、ユーザーが予測を検証・修正・エクスポートでき、希釈倍率統合による正確な細菌負荷推定が可能になった。
• データオーグメンテーション、特に回転処理により、限られた訓練データで多様な撮影条件に対応するモデルの一般化性能が顕著に向上した。
• 将来的なモデル再トレーニングのため、アプリ内でのユーザーフレンドリーなデータアノテーションを可能にしたことで、他の細菌種やウイルス焦点への応用の可能性が示された。