[論文レビュー] Class-Guided Image-to-Image Diffusion: Cell Painting from Brightfield Images with Class Labels

Jan Cross-Zamirski, Praveen Anand+4 more|arXiv (Cornell University)|Mar 15, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、明るさフィールド顕微鏡入力からの細胞ペイント画像生成を改善するために、離散的摂動ラベルを活用するクラスガイドド画像対画像拡散モデルを提案する。拡散ベースの画像対画像フレームワークにクラスラベルを統合することで、形態的特徴の忠実度が向上し、特に生物学的に活性なサブセットで訓練された場合、特徴相関性と構造的類似度においてガイドなしモデルを上回る薬物作用メカニズム予測性能が得られる。

ABSTRACT

Image-to-image reconstruction problems with free or inexpensive metadata in the form of class labels appear often in biological and medical image domains. Existing text-guided or style-transfer image-to-image approaches do not translate to datasets where additional information is provided as discrete classes. We introduce and implement a model which combines image-to-image and class-guided denoising diffusion probabilistic models. We train our model on a real-world dataset of microscopy images used for drug discovery, with and without incorporating metadata labels. By exploring the properties of image-to-image diffusion with relevant labels, we show that class-guided image-to-image diffusion can improve the meaningful content of the reconstructed images and outperform the unguided model in useful downstream tasks.

研究の動機と目的

• 薬物発見における低コストな明るさフィールド顕微鏡入力から高精細な蛍光細胞ペイント画像を生成する課題に対処すること。
• 離散的クラスラベル（例：摂動タイプ）が画像対画像拡散モデルを用いて生物学的に意味のある再構成を生成するのをガイドできるかどうかを調査すること。
• 標準的な画像指標に加え、作用メカニズム予測やクラスタリングなどの下流生物学的タスクを通じてモデル性能を評価すること。
• ラベルガイドド拡散が、生物学的に関連性のある活性化合物サブセットで訓練された場合、ガイドなし画像対画像ベースラインを上回ることを示すこと。

提案手法

• 本手法は、分類器ガイドランスを用いて離散的摂動ラベルに条件づけられるクラスガイドドノイズ除去を組み込んだ、Palette画像対画像拡散フレームワークの拡張である。
• U-Netベースのノイズ除去ネットワークを採用し、明るさフィールド入力画像とクラスラベル埋め込みを入力として受け取り、対応する蛍光チャネル画像を予測する。
• モデルはJUMP-CP Target2データセットのサブセットで訓練され、3チャンネルの明るさフィールド画像を入力とし、5チャンネルのセルペイント画像をターゲットとする。
• クラスラベルは学習されたプロジェクションヘッドを介して埋め込まれ、分類器ガイドランスを通じてノイズ除去プロセスに組み込まれ、望ましい表型出力を向かせる。
• ラベル品質とデータスパarsity効果を評価するために、フルプレートおよびアクティブサブセット訓練レジームをサポートする。
• 画像指標（FID、SSIM）、CellProfilerとの特徴相関、作用メカニズム予測タスクにおけるターゲットマッチングを通じて性能を評価する。

Figure 2: Given input Brightfield (3 channels) our model is able to generate 5 Cell Painting channels. Incorporating meaningful labels can improve biological feature quality and performance on downstream tasks without significantly reducing image quality or adding background noise. Columns left to r

実験結果

リサーチクエスチョン

• RQ1 離散的クラスラベルは、顕微鏡分野における画像対画像拡散再構成の品質と生物学的関連性を向上させることができるか？
• RQ2 摂動ラベルを組み込むことで、作用メカニズム予測やクラスタリングなどの下流薬物プロファイルタスクが向上するか？
• RQ3 訓練データの品質、特に非活性またはノイズの多いサンプルの包含が、クラスガイドド拡散モデルの性能にどのように影響するか？
• RQ4 クラスガイドドモデルが、特徴忠実度と画像再構成指標において、ガイドなし画像対画像ベースラインをどの程度上回るか？

主な発見

• アクティブサブセットで訓練した場合、クラスガイドドモデルはCellProfilerの真値形態的特徴との相関が最も高く、ガイドなしPaletteモデルを上回った。
• モデルは、より小さな訓練セットでも構造的類似度（SSIM）と作用メカニズム予測におけるターゲットマッチング精度を向上させ、データスパarsityに対して高い耐性を示した。
• 摂動ラベルを条件付けに用いることで、ガイドなしモデルと比較してターゲットマッチングが15%向上し、より良い表型一般化が達成された。
• フルプレートで訓練したモデルはFIDスコアが最低（14.2）であったが、一部の背景ノイズが発生したため、画像忠実度と生物学的関連性の間にはトレードオフがあると示唆された。
• 分類器ガイドランスはターゲットマッチングを向上させたが、画像および特徴品質をわずかに低下させたため、ラベル選択には注意が必要であることが示された。
• 結果から、高品質で生物学的に有用なラベルが不可欠であることが明らかになった。劣悪または情報のないラベルは、画像品質を低下させ、モデルを誤導する可能性がある。

Figure 3: Images generated by models trained with the active subset. The labelled images were sampled with both AdaGN and CG. Cropped to $100\times 100$ pixels. Columns left to right: Brightfield (input), DNA, RNA, ER, Mito, AGP.