[論文レビュー] Detailed Annotations of Chest X-Rays via CT Projection for Report Understanding

Constantin Seibold, Simon Reiß+8 more|arXiv (Cornell University)|Oct 7, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文では、高品質な3次元CT画像のセグメンテーションを2次元X線画像に投影することで、胸部X線画像（CXR）の詳細な解剖的セグメンテーションを含む新規データセットPAXRayを提案する。CTに基づく解剖的アノテーションを画像再構成を用いて投影することで、CXRに対する正確で細分化された解剖的ラベル付けが可能となり、アノテーション時間の短縮と、OpenIデータセットにおける最先端の領域提案手法と比較して最大50%の高い医療フレーズマッピング性能が達成される。

ABSTRACT

In clinical radiology reports, doctors capture important information about the patient's health status. They convey their observations from raw medical imaging data about the inner structures of a patient. As such, formulating reports requires medical experts to possess wide-ranging knowledge about anatomical regions with their normal, healthy appearance as well as the ability to recognize abnormalities. This explicit grasp on both the patient's anatomy and their appearance is missing in current medical image-processing systems as annotations are especially difficult to gather. This renders the models to be narrow experts e.g. for identifying specific diseases. In this work, we recover this missing link by adding human anatomy into the mix and enable the association of content in medical reports to their occurrence in associated imagery (medical phrase grounding). To exploit anatomical structures in this scenario, we present a sophisticated automatic pipeline to gather and integrate human bodily structures from computed tomography datasets, which we incorporate in our PAXRay: A Projected dataset for the segmentation of Anatomical structures in X-Ray data. Our evaluation shows that methods that take advantage of anatomical information benefit heavily in visually grounding radiologists' findings, as our anatomical segmentations allow for up to absolute 50% better grounding results on the OpenI dataset as compared to commonly used region proposals. The PAXRay dataset is available at https://constantinseibold.github.io/paxray/.

研究の動機と目的

• 胸部X線画像に細分化された解剖的アノテーションが不足しているという問題に取り組むこと。これは、正確な医療レポート解釈に不可欠である。
• CXRにおけるピクセル単位の手動セグメンテーションにかかる時間的コスト（1画像あたり最大3時間）を克服すること。
• 画像領域の整合性に解剖的文脈を統合することで、より信頼性の高い医療フレーズマッピングを実現すること。
• CT由来のラベルを用いて、CXRに高密度な解剖的アノテーションを生成するスケーラブルなパイプラインを開発すること。
• 解剖学的ガイド付きの領域提案が、従来の手法に比べてマッピング精度で顕著に優れていることを実証すること。

提案手法

• 本手法は、前向きおよび逆投影の原理に基づくCTからX線への投影パイプラインを用いて、CTスキャンの3次元解剖的セグメンテーションを2次元X線画像に投影する。
• 高品質な解剖的ラベルを保証するため、3次元CTデータにおけるセグメンテーションに最先端のディープラーニングモデル（例：nnU-Net）を活用する。
• 投影された2次元マスクを用いて、実際のCXR画像上でセグメンテーションモデルを直接学習させることで、投影を超えた一般化が可能になる。
• マルチステージパイプラインを採用：CTセグメンテーション → 3次元から2次元への投影 → 弱教師付き学習による実CXRデータ上のフィンガーリング。
• 本手法により、CXR上に高密度で細分化された解剖的マスクを持つ新規データセットPAXRayの作成が可能になる。
• 追加のCTデータセットを統合することで、新たな解剖的構造や病変への対応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 CTスキャンからの解剖的セグメンテーションをX線画像に効果的に投影することで、CXRに正確で高密度なアノテーションを生成できるか？
• RQ2 標準的な領域提案手法と比較して、解剖的構造の情報を活用することで、医療フレーズマッピング性能が向上するか？
• RQ3 解剖学的ガイド付きのロケーション検出は、CXR解析におけるアノテーション負担をどの程度軽減できるか？
• RQ4 CTから投影されたラベルで学習したモデルが、実際のCXR画像における解剖的セグメンテーションに一般化できるか？
• RQ5 弱教師付き設定において、解剖学的ベースのマッピング性能はオラクルの上限性能に比べてどの程度優れているか？

主な発見

• 提案手法は、OpenIデータセットにおけるベースライン領域提案手法と比較して、50%のIoU閾値におけるヒットレートで最大50%の絶対的向上を達成した。
• 解剖学的ガイド付きモデルは、前額視での選択的サーチ（selective search）に基づくオラクル性能を上回り、75%のIoUにおけるTop-10リtrievalは49.4%に達した。これはオラクルの47.7%を上回る。
• 解剖学的ベースの提案では、50%のIoUにおいてもヒットレートが安定し、Top-10で26.3%を維持するが、選択的サーチは同様の閾値で約56%低下した。
• 解剖的構造と修飾語（例：「第6後部肋骨」）の両方を活用することで、文全体の埋め込み表現や解剖学的構造のみを用いる場合よりもマッピング性能が向上した。
• PAXRayデータセットにより、実際のCXR上で正確な解剖的セグメンテーションモデルを学習可能となり、投影マスクが弱教師付き学習の強力な初期化として機能する。
• 本手法により、CXRごとに最大3時間もかかっていた細分化されたアノテーションの時間的コストが、スケーラブルで自動化されたパイプラインに短縮された。