[논문 리뷰] Multiple Meta-model Quantifying for Medical Visual Question Answering

Tuong Do, Binh X. Nguyen외 4명|arXiv (Cornell University)|2021. 05. 19.

Multimodal Machine Learning Applications참고 문헌 44인용 수 5

한 줄 요약

이 논문은 병원 영상질의응답(VQA)를 위한 새로운 메타학습 프레임워크인 다중 메타모델 정량화(MMQ)를 제안한다. 이 프레임워크는 내부 데이터셋 이미지에서 자동으로 메타애너테이션을 생성하고 개선함으로써 특징 학습을 향상시키며, 외부 데이터에 의존하지 않고 노이즈가 많은 레이블을 효과적으로 다룬다. MMQ는 PathVQA와 VQA-RAD에서 최신 기술(SOTA) 성능을 달성하여, 외부 데이터셋 이미지를 사용하지 않고도 개방형 질문에서 최대 9.8% 향상된 성능을 기록한다.

ABSTRACT

Transfer learning is an important step to extract meaningful features and overcome the data limitation in the medical Visual Question Answering (VQA) task. However, most of the existing medical VQA methods rely on external data for transfer learning, while the meta-data within the dataset is not fully utilized. In this paper, we present a new multiple meta-model quantifying method that effectively learns meta-annotation and leverages meaningful features to the medical VQA task. Our proposed method is designed to increase meta-data by auto-annotation, deal with noisy labels, and output meta-models which provide robust features for medical VQA tasks. Extensively experimental results on two public medical VQA datasets show that our approach achieves superior accuracy in comparison with other state-of-the-art methods, while does not require external data to train meta-models.

연구 동기 및 목표

• 내부 데이터셋 메타애너테이션을 활용하여 병원 영상질의응답(VQA)에서 제한적이고 노이즈가 많은 영상 애너테이션 문제를 해결하기 위해.
• 메타학습의 강건성을 향상시키기 위해 메타모델 사전학습을 위해 외부 데이터셋에 의존하는 것을 줄이기 위해.
• 반복적인 메타모델 개선을 통해 특징 표현을 향상시키는 확장 가능한 자기지도 학습 방법을 개발하기 위해.
• 계산 오버헤드와 모델 복잡도를 최소화하면서도 병원 VQA 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• MMQ는 불확실성 인식 예측 점수를 사용하여 미라벨링된 병원 영상에서 메타애너테이션을 생성하고 개선하는 다단계 개선 프로세스를 도입한다.
• 메타일관성 최적화 프로세스를 통해 정량화된 다중 메타모델을 훈련시켜 강건성과 일반화 능력을 향상시킨다.
• 반복적인 데이터 개선(m번)과 n개의 메타모델 예측을 통합하여 안정적이고 고품질의 특징을 생성한다.
• 훈련 중 모델 예측의 불확실성을 활용하여 노이즈가 많은 레이블을 걸러내고 메타애너테이션 품질을 향상시킨다.
• 주의 메커니즘(SAN 또는 BAN)을 사용하여 출력 메타모델을 통합하는 VQA 프레임워크는 공동의 시각-질문 표현 학습을 위해 설계된다.
• 이 방법은 메타모델 훈련에 완전히 내부 데이터셋 이미지만 사용하며, 외부 데이터를 전혀 활용하지 않는다.

실험 결과

연구 질문

• RQ1 외부 데이터 없이 내부 데이터셋 이미지를 효과적으로 활용하여 고품질의 메타애너테이션을 생성할 수 있는가?
• RQ2 메타모델의 반복적 개선이 병원 VQA에서 강건성과 정확도를 어떻게 향상시키는가?
• RQ3 불확실성 인식 예측 필터링은 메타애너테이션에서 노이즈 레이블의 영향을 어느 정도 줄일 수 있는가?
• RQ4 자원이 제한된 조건에서 메타모델 앙상블은 단일 메타모델 접근법보다 우월한 성능을 내는가?

주요 결과

• MMQ는 PathVQA의 자유형 질문에서 13.4%의 top-1 정확도를 달성하여 이전 최신 기술(MEVF)보다 5.3% 높은 성능을 기록했다.
• VQA-RAD에서 MMQ는 BAN 주의 메커니즘을 사용해 총 정확도 67.0%를 기록했으며, MEVF보다 9.8% 향상된 성능을 보였다.
• 단 한 개의 개선된 메타모델만을 사용하여도 MMQ는 MAML과 MEVF를 모두 초월하여 핵심 효과성을 입증했다.
• 성능 향상은 자유형 질문에서 더 두드러지게 나타나 복잡하고 정보량이 많은 질문을 더 잘 처리함을 시사한다.
• 메타모델 수와 개선 단계를 늘릴수록 성능 향상이 이루어지지만, m=5와 n=3를 초과하면 성능 향상 폭이 점점 감소한다.
• MMQ는 낮은 추론 시간(0.010s/sample)을 유지하며, MAML과 MEVF에 비해 모델 파라미터 수가 약간만 증가한다.