[論文レビュー] MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering

Haiwei Pan, Shuning He+4 more|arXiv (Cornell University)|Jul 7, 2021

Multimodal Machine Learning Applications参考文献 42被引用数 9

ひとこと要約

本稿では、画像から質問への（I2Q）および語からテキストへの（W2T）注目メカニズムを用いて視覚的・言語的意味を統合する、医療分野の視覚的質問応答（VQA）を目的としたマルチビュー注目ベースのモデルMuVAMを提案する。さらに、分類損失と画像-質問補完的（IQC）損失を組み合わせた複合損失関数を導入している。本手法は、VQA-RADおよびその拡張版VQA-RAD Phの両ベンチマークで最先端の性能を達成し、γ=1.6の設定で全体の正答率が74.28%に達する。

ABSTRACT

Medical Visual Question Answering (VQA) is a multi-modal challenging task widely considered by research communities of the computer vision and natural language processing. Since most current medical VQA models focus on visual content, ignoring the importance of text, this paper proposes a multi-view attention-based model(MuVAM) for medical visual question answering which integrates the high-level semantics of medical images on the basis of text description. Firstly, different methods are utilized to extract the features of the image and the question for the two modalities of vision and text. Secondly, this paper proposes a multi-view attention mechanism that include Image-to-Question (I2Q) attention and Word-to-Text (W2T) attention. Multi-view attention can correlate the question with image and word in order to better analyze the question and get an accurate answer. Thirdly, a composite loss is presented to predict the answer accurately after multi-modal feature fusion and improve the similarity between visual and textual cross-modal features. It consists of classification loss and image-question complementary (IQC) loss. Finally, for data errors and missing labels in the VQA-RAD dataset, we collaborate with medical experts to correct and complete this dataset and then construct an enhanced dataset, VQA-RADPh. The experiments on these two datasets show that the effectiveness of MuVAM surpasses the state-of-the-art method.

研究の動機と目的

• 既存の医療VQAモデルが言語的意味を十分に活用していないという限界を是正するため、高レベルの画像およびテキスト表現を統合すること。
• 新規なマルチビュー注目メカニズムを用いて、視覚的および言語的特徴間のクロスモーダル整合性を向上させること。
• 分類損失と画像-質問補完的（IQC）損失を組み合わせた複合損失関数を導入することで、モデルの頑健性と正答率を向上させること。
• 医療専門家による共同作業を通じてVQA-RADデータセットの誤り訂正と欠落アノテーションの補完を実施し、より高品質なベンチマーク、VQA-RAD Phを構築すること。
• オリジナルおよび拡張データセット上で、アブレーションスタディおよび比較実験を通じてMuVAMの有効性を実証すること。

提案手法

• 医療画像と臨床的質問の両方の特徴を別々に抽出し、ディープラーニングアーキテクチャを活用して視覚的および言語的入力を符号化する。
• 2つの構成要素を持つマルチビュー注目メカニズムを導入する：画像から質問への（I2Q）注目により、画像領域と質問の意味を対応付ける。また、語からテキストへの（W2T）注目により、質問内のキーワードを強調する。
• IQC損失は、画像表現とテキスト意味を併用して質問の重要度学習を同時にガイドすることで、視覚的および言語的クロスモーダル特徴間の類似性を向上させることを目的として設計されている。
• 標準的な分類損失とIQC損失を組み合わせた複合損失関数を用い、回答予測の正答率と特徴の整合性を向上させる。
• 医療専門家との協働により誤り訂正と欠落アノテーションの補完が行われた、修正・拡張済みデータセットVQA-RAD Phを用いてモデルを訓練する。
• ハイパーパramータ分析により、IQC損失のγ=1.6が、オープンエンド、クローズドエンド、全体の正答率という各指標において最適なパラメータであることが特定された。

実験結果

リサーチクエスチョン

• RQ1 画像および語レベルの関連性を同時にモデル化するマルチビュー注目メカニズムは、医療VQAにおける回答正答率の向上に寄与するか？
• RQ2 画像-質問補完的（IQC）損失の統合は、クロスモーダル特徴の整合性およびモデル性能にどのように影響を与えるか？
• RQ3 特に訂正済みかつ完全なアノテーションを有するデータ品質は、医療VQAモデルの性能にどの程度の影響を及えるか？
• RQ4 提案されたMuVAMモデルは、オリジナルおよび拡張済みの医療VQAベンチマークの両方で、既存の最先端手法を上回る性能を示すか？
• RQ5 IQC損失のハイパーパramータ設定において、異なる質問タイプの正答率をバランスよく向上させる最適な設定は何か？

主な発見

• IQC損失のハイパーパramータγを1.6に設定した場合、MuVAMはVQA-RAD Phデータセットで74.28%の全体正答率を達成した。
• 注目メカニズムとIQC損失の併用は、単独で用いた場合よりも優れた安定性と高い性能を発揮し、ベースラインより顕著な改善を示した。
• VQA-RAD Phに拡張されたデータセットは、オリジナルのVQA-RADデータセットよりも一貫して優れた結果をもたらし、データ品質向上のポジティブな影響を裏付けた。
• アブレーションスタディの結果、マルチビュー注目とIQC損失の両方のコンponentsが最適な性能を発揮するために不可欠であり、併用することで最高の結果が得られた。
• 可視化結果から、MuVAMは関連する画像領域を正しく特定し、「nodule」や「abnormalities」などのキーワードに適切に注目していることが確認されたが、経験に基づく複雑な質問にはときどき失敗する場合もあった。