[論文レビュー] Multiple Meta-model Quantifying for Medical Visual Question Answering

Tuong Do, Binh X. Nguyen+4 more|arXiv (Cornell University)|May 19, 2021

Multimodal Machine Learning Applications参考文献 44被引用数 5

ひとこと要約

本稿では、医療分野の視覚的質疑応答（VQA）のための新しいメタラーニングフレームワーク、Multiple Meta-model Quantifying（MMQ）を提案する。MMQは、データセット内画像からメタアノテーションを自動生成・精錬することで特徴抽出を強化し、外部データに依存せずノイズの多いラベルに対しても効果的に対処する。PathVQAおよびVQA-RADのベンチマークで最先端の性能を達成し、外部データを用いない状態で自由形式の質問において最大9.8%の性能向上を達成した。

ABSTRACT

Transfer learning is an important step to extract meaningful features and overcome the data limitation in the medical Visual Question Answering (VQA) task. However, most of the existing medical VQA methods rely on external data for transfer learning, while the meta-data within the dataset is not fully utilized. In this paper, we present a new multiple meta-model quantifying method that effectively learns meta-annotation and leverages meaningful features to the medical VQA task. Our proposed method is designed to increase meta-data by auto-annotation, deal with noisy labels, and output meta-models which provide robust features for medical VQA tasks. Extensively experimental results on two public medical VQA datasets show that our approach achieves superior accuracy in comparison with other state-of-the-art methods, while does not require external data to train meta-models.

研究の動機と目的

• データセット内メタアノテーションを活用することで、VQAにおける限られた医療画像アノテーションとノイズの多いラベルの課題に対処すること。
• 外部データセットの利用を減らすことで、医療VQAにおけるメタラーニングの頑健性を向上させること。
• 反復的精錬によるメタモデルの改善を通じて、スケーラブルで自己教師ありの方法を構築し、特徴表現を強化すること。
• 計算コストとモデルの複雑さを最小限に抑えながら、医療VQAベンチマークで優れた性能を達成すること。

提案手法

• MMQは、不確実性を考慮した予測スコアを用いて、未ラベル化された医療画像からメタアノテーションを生成・改善するマルチステージの精錬プロセスを導入する。
• メタアンビエーション最適化プロセスを介してトレーニングされた複数の定量的メタモデルを採用することで、頑健性と一般化性能を向上させる。
• 反復的データ精錬（m回）とn個のメタモデルからの予測を集約することで、安定的で高品質な特徴を生成する。
• トレーニング中に予測の不確実性を活用し、ノイズの多いラベルをフィルタリングし、メタアノテーションの品質を向上させる。
• 注意メカニズム（SANまたはBAN）を用いて、出力されたメタモデルを統合するVQAフレームワークを構築し、視覚的・質問的表現の共同学習を実現する。
• メタモデルのトレーニングに外部データを一切使用せず、データセット内画像のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 外部データを一切使用せずに、データセット内画像を効果的に活用して高品質なメタアノテーションを生成できるか？
• RQ2 メタモデルの反復的精錬は、医療VQAにおける頑健性と精度をどのように向上させるか？
• RQ3 不確実性を考慮した予測フィルタリングは、メタアノテーションにおけるノイズの多いラベルの影響をどの程度低減できるか？
• RQ4 データが限られた状況下で、複数のメタモデルアンサンブルは単一メタモデルアプローチを上回る性能を示せるか？

主な発見

• MMQは、PathVQAの自由形式質問において13.4%のトップ1精度を達成し、以前の最先端手法MEVFを5.3%上回った。
• VQA-RADでは、BAN注意メカニズムを用いて全体の精度が67.0%に達し、MEVFを9.8%上回った。
• 1つの精錬済みメタモデルのみを用いても、MMQはMAMLおよびMEVFをすでに上回り、そのコアな有効性を証明した。
• 自由形式の質問における性能向上が顕著で、複雑で情報量の多い質問への対処能力が優れていることが示された。
• メタモデルの数や精錬ステップ数を増やすことで性能が向上するが、m=5およびn=3を超えると向上効果は段階的に減少した。
• MMQは推論時間（0.010s/サンプル）が低く、MAMLやMEVFと比較してモデルパラメータはわずかに増加した。