[論文レビュー] SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering

Bo Liu, Li-Ming Zhan+4 more|arXiv (Cornell University)|Feb 18, 2021

Multimodal Machine Learning Applications参考文献 16被引用数 10

ひとこと要約

本稿では、臓器および病変の詳細なセグメンテーションマスク、ボクシングボックス、構造化された医療知識グラフを備えた大規模かつ二か国語（英語/中国語）の意味的ラベル付で知識強化された医療視覚質問応答（Med-VQA）データセット、SLAKEを紹介する。視覚的アノテーションと外部知識の統合により、最大2.6%の精度向上が達成され、臨床的に関連性の高い堅牢なMed-VQAシステムの訓練にその価値が示された。

ABSTRACT

Medical visual question answering (Med-VQA) has tremendous potential in healthcare. However, the development of this technology is hindered by the lacking of publicly-available and high-quality labeled datasets for training and evaluation. In this paper, we present a large bilingual dataset, SLAKE, with comprehensive semantic labels annotated by experienced physicians and a new structural medical knowledge base for Med-VQA. Besides, SLAKE includes richer modalities and covers more human body parts than the currently available dataset. We show that SLAKE can be used to facilitate the development and evaluation of Med-VQA systems. The dataset can be downloaded from http://www.med-vqa.com/slake.

研究の動機と目的

• 医療視覚質問応答（Med-VQA）システムの訓練および評価に向けた、高品質で公開可能なデータセットの不足に対処すること。
• VQA-RADのような既存のデータセットに見られるように、意味的アノテーションの欠如および外部医療知識の統合の制限を克服すること。
• 複数の画像モodal（CT、MRI、レントゲン）および身体部位（頸部および骨盤腔を含む）と質問タイプをカバーする、多様でバランスの取れた臨床的関連性の高いデータセットの開発。
• 複雑な臨床的質問に対して、視覚的コンテンツと外部医療知識の両方を統合して推論できるMed-VQAモデルの訓練を可能にすること。
• 詳細なアノテーションと構造化された知識ベースを備えたベンチマークデータセットを提供することで、医療AIにおけるマルチモーダル統合と知識強化推論分野の研究を促進すること。

提案手法

• オープンアクセスのデータソース（NIH、Medical Decathlonなど）から得た642枚のレントゲン画像を用いて、大規模で二か国語（英語/中国語）のMed-VQAデータセットを構築した。
• 経験豊富な医師とITK-SNAPを用いて、39の臓器および12の疾患について、セグメンテーションマスクとボクシングボックスによるアノテーションを実施した。
• 視覚のみの質問（画像の内容に基づく）と外部医療知識を要する知識ベースの質問の2種類の質問を設計し、モデルの推論を支援する明確なラベル付けを実施した。
• TransEを用いてエンティティと関係（例：「肝臓, 病変を有する, 肝硬変」）を埋め込むことで、構造化された医療知識グラフを構築した。
• 視覚特徴と知識グラフ埋め込みを統合することで、回答予測に適したマルチモーダルアテンションネットワーク（SAN）に知識グラフを統合した。
• 質問から関係および終点エンティティを予測する二重ストリームLSTMアーキテクチャを用い、推論に適した知識グラフの三項組を検索可能にした。

実験結果

リサーチクエスチョン

• RQ1 大規模で意味的ラベル付、かつ知識強化されたMed-VQAデータセットは、最先端のモデルの臨床的推論タスクにおける性能を向上させることができるか？
• RQ2 セグメンテーションマスクやボクシングボックスを含む意味的視覚アノテーションは、Med-VQAモデルの推論能力をどの程度向上させるか？
• RQ3 外部医療知識グラフの統合は、知識ベースの臨床的質問の精度向上にどの程度効果的か？
• RQ4 英語/中国語の二か国語の質問-回答ペairの導入は、Med-VQAシステムの汎化性能とアクセシビリティを向上させるか？
• RQ5 提案されたデータセットは、多様な画像モダリティおよび身体部位をカバーするマルチモーダルおよび知識拡張型Med-VQAモデルの評価に、堅牢なベンチマークとして機能できるか？

主な発見

• SLAKEデータセットには、5つの身体部位（頭部、頸部、胸部、腹部、骨盤腔）にまたがる642枚のレントゲン画像が含まれており、14,000組の質問-回答ペアを含み、VQA-RADのような既存のデータセットを大幅に上回るカバレッジを実現した。
• 視覚のみの質問において、セグメンテーションマスクを用いて微調整したモデル（VGG seg + SAN）では75.36%の精度を達成し、ベースライン（72.73%）より2.6%向上した。これは、詳細な視覚的アノテーションの価値を示している。
• 英語では、知識グラフを統合しない場合の知識ベースの質問精度が70.27%から、知識グラフを統合した場合に72.30%に向上した。中国語でも、知識強化モデルを用いることで75.01%の精度に達し、外部知識統合の有効性が裏付けられた。
• オープンエンド型およびクローズドエンド型の両方の質問をサポートしており、質問タイプにわたる分布がバランスが取れており、モデルの汎化性能と評価の信頼性を向上させた。
• TransE埋め込みによる知識グラフの利用により、疾患のメカニズム、臓器機能、治療法を含む複雑で構成的な質問についても正確な推論が可能になった。これは、視覚のみのモデルが対応できない分野である。
• SLAKEの二か国語設計により、クロスリンガル評価と開発が可能となり、中国語モデルでは視覚のみのタスクで74.27%、知識ベースのタスクで75.01%の精度を達成した。これは、強力なクロスリンガル転送の可能性を示している。