[논문 리뷰] MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering

Haiwei Pan, Shuning He외 4명|arXiv (Cornell University)|2021. 07. 07.

Multimodal Machine Learning Applications참고 문헌 42인용 수 9

한 줄 요약

이 논문은 시각적 및 텍스트적 의미를 이미지-질문(I2Q) 및 단어-텍스트(W2T) 주의 메커니즘을 통해 통합하는 다중 시점 주의 기반 모델인 MuVAM을 제안한다. 또한 분류 손실과 이미지-질문 보완(IQC) 손실을 조합한 복합 손실 함수를 도입한다. 이 방법은 VQA-RAD 및 그 개선된 버전인 VQA-RAD Ph에서 최신 기술 수준 성능을 달성하며, γ=1.6일 때 총 정확도가 74.28%에 이를 수 있다.

ABSTRACT

Medical Visual Question Answering (VQA) is a multi-modal challenging task widely considered by research communities of the computer vision and natural language processing. Since most current medical VQA models focus on visual content, ignoring the importance of text, this paper proposes a multi-view attention-based model(MuVAM) for medical visual question answering which integrates the high-level semantics of medical images on the basis of text description. Firstly, different methods are utilized to extract the features of the image and the question for the two modalities of vision and text. Secondly, this paper proposes a multi-view attention mechanism that include Image-to-Question (I2Q) attention and Word-to-Text (W2T) attention. Multi-view attention can correlate the question with image and word in order to better analyze the question and get an accurate answer. Thirdly, a composite loss is presented to predict the answer accurately after multi-modal feature fusion and improve the similarity between visual and textual cross-modal features. It consists of classification loss and image-question complementary (IQC) loss. Finally, for data errors and missing labels in the VQA-RAD dataset, we collaborate with medical experts to correct and complete this dataset and then construct an enhanced dataset, VQA-RADPh. The experiments on these two datasets show that the effectiveness of MuVAM surpasses the state-of-the-art method.

연구 동기 및 목표

• 기존 의료 VQA 모델이 텍스트적 의미를 충분히 활용하지 못하는 한계를 해결하기 위해 고수준의 이미지 및 텍스트 표현을 통합한다.
• 새로운 다중 시점 주의 메커니즘을 통해 시각적 및 텍스트적 특징 간의 교차 모odal 정렬을 향상시킨다.
• 분류 손실과 이미지-질문 보완(IQC) 손실을 조합한 복합 손실 함수를 도입하여 모델의 강인성과 정확도를 향상시킨다.
• 의료 전문가 협업을 통해 VQA-RAD 데이터셋을 보완하고 수정하여 향상된 품질의 기준 데이터셋인 VQA-RAD Ph를 확보한다.
• 기존 데이터셋과 개선된 데이터셋에서의 추론 실험 및 분해 분석을 통해 MuVAM의 효과성을 입증한다.

제안 방법

• 의료 영상과 임상 질문에 대해 별도의 특징 추출을 수행하며, 딥러닝 아키텍처를 활용해 시각적 및 텍스트 입력을 인코딩한다.
• 이중 구성 요소를 가진 다중 시점 주의 메커니즘을 도입한다: 이미지-질문(I2Q) 주의를 통해 이미지 영역과 질문 의미를 정렬하고, 단어-텍스트(W2T) 주의를 통해 질문 내 핵심 단어를 강조한다.
• IQC 손실은 이미지 표현과 텍스트 의미를 함께 사용해 질문 중요도 학습을 유도함으로써, 시각적 및 텍스트적 교차 모달 특징 간 유사도를 향상시키도록 설계된다.
• 표준 분류 손실과 IQC 손실을 조합한 복합 손실 함수를 통해 답변 예측 정확도와 특징 정렬을 향상시킨다.
• 의료 전문가 협업을 통해 레이블 오류 수정 및 누락된 애너테이션 보완을 수행한 보정 및 개선된 데이터셋인 VQA-RAD Ph에서 모델을 훈련시킨다.
• 하이퍼파rameter 분석을 통해 IQC 손실의 최적 설정으로 γ=1.6를 도출하였으며, 이는 개방형, 폐쇄형, 총 정확도 지표에서 최고 성능을 기록한다.

실험 결과

연구 질문

• RQ1 이미지 및 단어 수준의 관련성을 함께 모델링하는 다중 시점 주의 메커니즘이 의료 VQA의 답변 정확도 향상에 기여하는가?
• RQ2 이미지-질문 보완(IQC) 손실의 통합이 교차 모달 특징 정렬 및 모델 성능에 어떤 영향을 미치는가?
• RQ3 특히 보완되고 완전한 애너테이션을 갖춘 데이터 품질이 의료 VQA 모델의 성능에 어느 정도 기여하는가?
• RQ4 제안된 MuVAM 모델이 기존 최신 기술 수준의 방법보다 원본 및 개선된 의료 VQA 벤치마크에서 모두 우수한 성능을 보이는가?
• RQ5 IQC 손실 구성 요소의 최적 하이퍼파라미터 설정은 다양한 질문 유형 간 정확도 균형을 고려할 때 무엇인가?

주요 결과

• IQC 손실 하이퍼파라미터 γ를 1.6로 설정했을 때 MuVAM은 VQA-RAD Ph 데이터셋에서 총 정확도 74.28%를 달성한다.
• 주의 메커니즘과 IQC 손실의 조합은 각각의 구성 요소만 사용할 때보다 우수하고 안정적인 성능을 보이며, 기준 모델 대비 뚜렷한 향상을 이룬다.
• 개선된 VQA-RAD Ph 데이터셋은 원본 VQA-RAD 데이터셋보다 일관되게 더 우수한 결과를 도출하여, 향상된 데이터 품질이 긍정적인 영향을 미친다는 것을 확인한다.
• 분해 분석 결과, 다중 시점 주의와 IQC 손실 구성 요소 모두 최적 성능을 내기 위해 필수적이며, 이 둘의 조합이 가장 우수한 성능을 내는 것으로 나타났다.
• 시각화 결과는 MuVAM이 관련된 이미지 영역을 정확히 식별하고 "nodule" 및 "abnormalities"와 같은 핵심 질문 단어에 주의를 기울임을 확인했지만, 경험 기반의 복잡한 질문에서는 가끔 실패하는 경향이 있었다.