[論文レビュー] BiomedParse: a biomedical foundation model for image parsing of everything everywhere all at once

Theodore Zhao, 裕二 池谷+13 more|arXiv (Cornell University)|May 21, 2024

AI in cancer detection被引用数 4

ひとこと要約

BiomedParse は、82種類のオブジェクトタイプと9つの画像モダリティを統合的に処理するバイオメディカル基盤モデルであり、一貫したテキストプロンプトを用いてセグメンテーション、検出、認識を同時に行う。ユーザーがボクシングボックスを提供する必要がなく、GPT-4 を活用してノイズの多い非構造的データセット記述とバイオメディカルオントロジーを一致させることで、事前学習用に600万件を超える画像-マスク-記述の三元組から構成される大規模データセットを構築し、最先端の性能を達成する。

ABSTRACT

Biomedical image analysis is fundamental for biomedical discovery in cell biology, pathology, radiology, and many other biomedical domains. Holistic image analysis comprises interdependent subtasks such as segmentation, detection, and recognition of relevant objects. Here, we propose BiomedParse, a biomedical foundation model for imaging parsing that can jointly conduct segmentation, detection, and recognition for 82 object types across 9 imaging modalities. Through joint learning, we can improve accuracy for individual tasks and enable novel applications such as segmenting all relevant objects in an image through a text prompt, rather than requiring users to laboriously specify the bounding box for each object. We leveraged readily available natural-language labels or descriptions accompanying those datasets and use GPT-4 to harmonize the noisy, unstructured text information with established biomedical object ontologies. We created a large dataset comprising over six million triples of image, segmentation mask, and textual description. On image segmentation, we showed that BiomedParse is broadly applicable, outperforming state-of-the-art methods on 102,855 test image-mask-label triples across 9 imaging modalities (everything). On object detection, which aims to locate a specific object of interest, BiomedParse again attained state-of-the-art performance, especially on objects with irregular shapes (everywhere). On object recognition, which aims to identify all objects in a given image along with their semantic types, we showed that BiomedParse can simultaneously segment and label all biomedical objects in an image (all at once). In summary, BiomedParse is an all-in-one tool for biomedical image analysis by jointly solving segmentation, detection, and recognition for all major biomedical image modalities, paving the path for efficient and accurate image-based biomedical discovery.

研究の動機と目的

• 従来のバイオメディカル画像解析がセグメンテーション、検出、認識を別々のタスクとして扱い、ユーザーの負担が大きいという限界を是正すること。
• セグメンテーションにおいてユーザー指定のボクシングボックスを不要にし、画像内に存在するすべての関連オブジェクトをゼロショットでテキスト誘導で解析可能にする。
• セグメンテーション、検出、認識の間の相関関係を活用し、包括的でスケーラブルな統合的バイオメディカル画像解析フレームワークを構築すること。
• 標準的なセグメンテーションデータセットとLLMが生成する意味的統合化を用いて、バイオメディカルオントロジーに整合したラベルに変換することで、大規模かつマルチモーダルなバイオメディカル画像解析データセットを構築すること。

提案手法

• モデルは、GPT-4 を用いて既存のセグメンテーションデータセットに含まれるノイズの多い非構造的自然言語記述と確立されたバイオメディカルオブジェクトオントロジーを一致させることで構築された、600万件を超える画像-マスク-記述の三元組から成るデータセットで事前学習される。
• モデルは、1つのビジョン・ランゲージバックボーンを用いて、セグメンテーション、検出、認識の3つのタスクを同時に最適化するマルチタスク学習フレームワークを採用しており、単一のテキストプロンプトからのエンドツーエンド解析を可能にする。
• 不規則な形状のオブジェクトに対しては、相互相関と反復的シフトを用いたアテンションマップの最適化により、特にCT や MRI の3次元モダリティにおいてマスクの整合性を向上させる。
• オブジェクト認識は2段階のプロセスで実行される：まず、予測マスク領域の面積に基づくしきい値処理（λ × 元の面積）によるターゲット選択；次に、ピixe単位の確率順位付けを用いた重複のないマスク集約。
• 82種類のバイオメディカルオブジェクトタイプを9つの画像モダリティにわたって整理する階層的ターゲット構造を採用し、モダリティ固有かつ解剖学的に整合性のある解析を可能にする。
• 検出の評価指標には、ボックス比（Box Ratio）、凸型比（Convex Ratio）、逆回転慣性（IRI）が含まれ、形状の規則性とマスクの忠実度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供するボクシングボックスが不要な状態で、1つの基盤モデルがバイオメディカル画像においてセグメンテーション、検出、認識を統合的に実行できるか？
• RQ2 GPT-4 を用いて、標準的なセグメンテーションデータセットに含まれるノイズの多い非構造的テキスト記述を、構造的でオントロジーに整合したラベルに統合化できる程度はどの程度か？
• RQ3 セグメンテーション、検出、認識の3つのタスクを統合的に学習させることで、多様なバイオメディカル画像モダリティにおいて、タスク特化型モデルと比較して性能がどのように向上するか？
• RQ4 不規則な形状のオブジェクトに対しても、ボクシングボックスベースの手法よりも正確に検出できるか？
• RQ5 LLM補完記述を用いた標準的なセグメンテーションデータセットのみを用いることで、統合的画像解析モデルの性能にどのような影響を与えるか？

主な発見

• BiomedParse は、9つの画像モダリティにわたる102,855組のテスト画像-マスク-ラベル三元組において、最先端の手法を上回る性能を示し、セグメンテーション分野への広範な適用可能性を実証した。
• 特に不規則な形状のオブジェクトに対して、Box Ratio、Convex Ratio、IRI の指標が向上し、オブジェクト検出分野で最先端の性能を達成した。
• BiomedParse は、テキストプロンプトのみを用いて、画像内に存在するすべての関連バイオメディカルオブジェクトを正しく特定・セグメンテーションすることが可能であり、手動でのボクシングボックス入力の必要性を排除した。
• モデルは、画像内に存在しないオブジェクトを記述する無効なユーザー入力を検出し、拒否する能力を示し、意味的幻覚（semantic hallucinations）に対して高い耐性を示した。
• GPT-4 を用いて非構造的記述とバイオメディカルオントロジーを一致させることで、標準的なセグメンテーションデータセットのみから680万件の画像-マスク-記述三元組から成る大規模データセットを構築できた。
• 2段階のオブジェクト認識パイプラインは、マスクの重複を効果的に低減し、選択の正確性を向上させ、Grounding DINO や SAM、MedSAM を用いたベースライン手法よりも優れた性能を発揮した。