[論文レビュー] Chest ImaGenome Dataset for Clinical Reasoning

Joy T. Wu, Nkechinyere N. Agu+10 more|arXiv (Cornell University)|Jul 31, 2021

COVID-19 diagnosis using AI参考文献 48被引用数 26

ひとこと要約

本論文は Chest ImaGenome を紹介します。これは解剖学的部位と属性、連続比較関係を自動的にリンクする大規模なマルチモーダル胸部X線シーングラフデータセットで、局所的な説明可能性と縦断的臨床推論研究を可能にします。MIMIC-CXR を基盤として、 benchmarking のための金標準サブセットとともに 242,072 のシーングラフを 1,256 のリレーションタイプで提供します。

ABSTRACT

Despite the progress in automatic detection of radiologic findings from chest X-ray (CXR) images in recent years, a quantitative evaluation of the explainability of these models is hampered by the lack of locally labeled datasets for different findings. With the exception of a few expert-labeled small-scale datasets for specific findings, such as pneumonia and pneumothorax, most of the CXR deep learning models to date are trained on global "weak" labels extracted from text reports, or trained via a joint image and unstructured text learning strategy. Inspired by the Visual Genome effort in the computer vision community, we constructed the first Chest ImaGenome dataset with a scene graph data structure to describe $242,072$ images. Local annotations are automatically produced using a joint rule-based natural language processing (NLP) and atlas-based bounding box detection pipeline. Through a radiologist constructed CXR ontology, the annotations for each CXR are connected as an anatomy-centered scene graph, useful for image-level reasoning and multimodal fusion applications. Overall, we provide: i) $1,256$ combinations of relation annotations between $29$ CXR anatomical locations (objects with bounding box coordinates) and their attributes, structured as a scene graph per image, ii) over $670,000$ localized comparison relations (for improved, worsened, or no change) between the anatomical locations across sequential exams, as well as ii) a manually annotated gold standard scene graph dataset from $500$ unique patients.

研究の動機と目的

• 解剖学的部位を所見やその他の属性へ結びつけることにより、放射線科医の推論を再現した大規模で局所ラベル付きの CXR データセットを作成する。
• NLP とアトラスベースの境界ボックスパイプラインを用いて、CXR レポートから自動的にシーングラフを抽出する。
• 検査間の縦断的比較関係を提供して、時間経過に伴う疾患の進行を捉える。
• 全オブジェクト、属性、リレーションを UMLS CUIs にマッピングして、相互運用可能なマルチモーダル推論を可能にする。
• ベンチマーク用の金標準アノテーションを提供し、下流の臨床・研究用途をサポートする。

提案手法

• 29 の解剖学的位置の境界ボックスをアトラスベースで抽出することにより、MIMIC-CXR からアノテーションを導出する。
• 規則ベースの NLP パイプラインと放射線科医がキュレーションした CXR オントロジーを用いて、242,072 枚の画像にわたり 1,256 のオブジェクト-属性リレーションタイプを抽出する。
• 各画像ごとにノード（オブジェクト）、属性、リレーション（縦断的比較関係を含む）を含むシーングラフを構築する。
• ノードとエッジを自動で UMLS CUIs（放射線学寄りの RadLex/UMSL 概念）にリンクし、相互運用性を確保する。
• オブジェクト-属性およびオブジェクト-オブジェクトのリレーションと境界ボックスを手動検証した、500 名の患者の金標準サブセットを作成する。
• 研究単位でシーングラフをレンダリングし、可視化のための RDF 的形式などの後処理ユーティリティを提供する。

実験結果

リサーチクエスチョン

• RQ1 局所的な解剖学的-属性リレーションおよび縦断的比較リレーションを、CXR レポートと画像から大規模に自動抽出できるか？
• RQ2 オブジェクト-属性およびオブジェクト-オブジェクトのリレーションに対する自動抽出が、放射線科医のアノテーション（金標準）とどれくらい一致するか？
• RQ3 抽出されたシーングラフは縦断的臨床推論やマルチモーダル融合タスクに有用か？
• RQ4 CXRs の主要解剖学的構造の境界ボックス局在のカバレッジと精度はどの程度か？
• RQ5 連続する CXR における変化検出など、下流タスクに対してデータセットをどのように活用できるか？

主な発見

• 217,013 件のユニークな CXR 研究から 242,072 のシーングラフを自動構築し、1,256 のリレーションタイプと 29 の解剖学的位置を持つ。
• 128,468 の連続 CXR ペアにわたり、678,543 件以上のオブジェクト-オブジェクト比較リレーションを抽出。
• 金標準サブセット（500 名の患者）での手動検証は、オブジェクト-属性および比較リレーション抽出の高い精度・再現率を示す一方、優位性や文跨り情報に関する課題を指摘。
• 境界ボックスパイプラインは、1 枚あたり最大 29 の解剖学を検出可能で高いカバレッジを達成し、ほとんどのオブジェクトで見逃し率が低い（<0.02%）。
• データセットは UMLS CUIs にマッピングされ、他の臨床データソースとの学際的な統合を可能にする。
• 提供された 2 つの実例タスクが臨床的有用性を示す。画像ごとの属性タイプの特定と、連続検査間の変化の特定。