[論文レビュー] Unsupervised Multimodal Representation Learning across Medical Images and Reports

Tzu-Ming Harry Hsu, Wei‐Hung Weng+3 more|arXiv (Cornell University)|Nov 21, 2018

Multimodal Machine Learning Applications参考文献 21被引用数 27

ひとこと要約

本稿では、MIMIC-CXRデータセットを用いて、胸部レントゲン画像と放射線科レポートの間で、教師なしおよび弱教師ありの共同表現学習を提案する。埋め込みの整合性と敵対的訓練を用いて画像とテキストの埋め込みを整列させることで、ラベル付きデータがたった0.1%の状況でも、完全教師あり手法と同等の性能を達成し、局所的およびグローバルなメトリクスの両方において、最小限の監視によって検索品質が著しく向上することを示している。

ABSTRACT

Joint embeddings between medical imaging modalities and associated radiology reports have the potential to offer significant benefits to the clinical community, ranging from cross-domain retrieval to conditional generation of reports to the broader goals of multimodal representation learning. In this work, we establish baseline joint embedding results measured via both local and global retrieval methods on the soon to be released MIMIC-CXR dataset consisting of both chest X-ray images and the associated radiology reports. We examine both supervised and unsupervised methods on this task and show that for document retrieval tasks with the learned representations, only a limited amount of supervision is needed to yield results comparable to those of fully-supervised methods.

研究の動機と目的

• 検索と距離メトリクスを用いて、医療画像と放射線科レポートのためのベースライン共同埋め込み手法を確立すること。
• 共同埋め込み空間における表現品質に与える、さまざまな監視レベルの影響を評価すること。
• 放射線科レポートの異なるセクション（所見 vs. 意見）が、埋め込み性能に与える影響を分析すること。
• 教師なし事前学習に加え、最小限の監視を組み合わせることで、完全教師ありモデルと同等の検索性能を達成できることを示すこと。

提案手法

• テキスト特徴量は、bi-gram、GloVe埋め込み、または深層平均化ネットワーク（DAN）エンコーダーから得られる微調整された文/段落埋め込みを用いて抽出される。
• 画像特徴量は、事前学習済みのDenseNet-121の最終ボトルネック層から抽出され、PCAを用いて64次元に削減される。
• 線形変換を用いた埋め込みの整合性（EA）により、画像とテキストの埋め込みを整列させ、射影された画像特徴量とテキスト特徴量の間のフロベニウスノルムを最小化する。
• ドメイン不変の射影行列を学習するため、画像とテキストモダリティを区別する識別器をだます敵対的訓練が用いられる。
• 半教師ありの目的関数を用いて学習され、使用されるペairedデータの割合を変化させる。
• 評価では、直接的な画像-レポートペア（局所的検索）とICD-9コードグループ（グローバル検索）を用い、nDCG@100、MRR、コサイン類似度などのメトリクスが使用される。

実験結果

リサーチクエスチョン

• RQ1 教師なし共同埋め込み学習は、医療画像-レポートペアにおいて、完全教師あり手法と同等の検索性能を達成できるか？
• RQ2 ラベル付きペアの割合（監視の程度）が、共同埋め込み空間における学習表現の品質にどのように影響するか？
• RQ3 放射線科レポートの異なるセクション（例：所見 vs. 意見）を用いることで、表現品質および検索性能に顕著な差が生じるか？
• RQ4 さまざまなテキスト特徴量抽出手法（bi-gram、文埋め込み、段落埋め込み）は、共同表現学習においてどのように性能を発揮するか？
• RQ5 大規模なペアなしデータに対する教師なし事前学習に加え、最小限の監視を組み合わせることで、顕著な性能向上が得られるか？

主な発見

• わずか0.1%の監視で、nDCG@100が0.69に達し、完全教師ありモデル（0.70）に近い性能を示しており、最小限のラベリングでも顕著な向上が得られることを示している。
• レポートの「所見」セクションを用いたモデルが、「意見」セクションを用いたモデルよりも、コサイン類似度とMRRの両面で優れている。これは、画像とパターンの記述がより一貫しているためと推測される。
• 「意見」セクションではnDCG@100が0.169、「所見」セクションでは0.163であり、nDCGが疾患関連であるため、意見セクションは臨床的文脈を統合しているため、より高いスコアを示している。
• 文および段落埋め込みは、bi-gram TF-IDF特徴量に比べて性能が劣っている。これは、事前学習段階で医療分野の言語と整合性が悪いことが原因と推測される。
• 教師なしのプロクラステス補正は、時々性能を向上させるが、一貫した利点は示さない。
• 敵対的訓練とプロクラステス補正を組み合わせた段落埋め込みが、教師なし手法の中で最高のnDCG@100（0.169）を達成した。