[논문 리뷰] SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering

Bo Liu, Li-Ming Zhan외 4명|arXiv (Cornell University)|2021. 02. 18.

Multimodal Machine Learning Applications참고 문헌 16인용 수 10

한 줄 요약

이 논문은 영문/중문 양국어로 구성된 대규모, 의미적 레이블이 부여된, 지식 기반의 의료 시각질문응답(Med-VQA) 데이터셋인 SLAKE를 소개한다. 이 데이터셋은 세분화된 장기 및 병변 마스크, 경계 상자, 그리고 구조화된 의료 지식 그래프를 포함하고 있으며, 의미적 시각 레이블과 외부 지식을 활용할 경우 최대 2.6%p의 정확도 향상을 이끌어내어 임상적으로 유의미한 강력한 Med-VQA 시스템을 훈련하는 데 있어 그 가치를 입증한다.

ABSTRACT

Medical visual question answering (Med-VQA) has tremendous potential in healthcare. However, the development of this technology is hindered by the lacking of publicly-available and high-quality labeled datasets for training and evaluation. In this paper, we present a large bilingual dataset, SLAKE, with comprehensive semantic labels annotated by experienced physicians and a new structural medical knowledge base for Med-VQA. Besides, SLAKE includes richer modalities and covers more human body parts than the currently available dataset. We show that SLAKE can be used to facilitate the development and evaluation of Med-VQA systems. The dataset can be downloaded from http://www.med-vqa.com/slake.

연구 동기 및 목표

• 의료 시각질문응답(Med-VQA) 시스템을 훈련하고 평가하기 위한 고품질, 공개 가능한 데이터셋의 부족을 해결하기 위해.
• 의미적 레이블이 부족하고 외부 의료 지식 통합이 이루어지지 않은 기존 데이터셋(VQA-RAD 등)의 한계를 극복하기 위해.
• 다양하고 균형 잡힌, 임상적으로 관련성이 있는 데이터셋을 구축하여 다양한 영상 모odal(CT, MRI, X-ray), 신체 부위(경부 및 골반강 포함), 질문 유형을 커버하기 위해.
• 복잡한 임상 질문에 대해 시각적 콘텐츠와 외부 의료 지식을 동시에 추론할 수 있는 Med-VQA 모델의 훈련을 가능하게 하기 위해.
• 세부 레이블과 구조화된 지식 기반을 제공함으로써 다중모odal 융합 및 지식 기반 추론에 관한 의료 AI 분야의 연구를 촉진하기 위해 벤치마크 데이터셋을 제공하기 위해.

제안 방법

• 공개 자료원(NIH, Medical Decathlon 등)에서 확보한 642장의 방사선 영상으로 대규모, 양국어(영문/중문) Med-VQA 데이터셋을 구축하였다.
• 경험이 풍부한 의료진과 ITK-SNAP를 활용해 39개 장기 및 12개 질환에 대해 의미적 세분화 마스크와 경계 상자를 각각 레이블링하였다.
• 시각 중심 질문(이미지 콘텐츠 기반)과 지식 기반 질문(외부 의료 지식 필요)의 두 유형의 질문을 설계하였으며, 모델 추론 유도를 위한 명시적 레이블링을 수행하였다.
• TransE를 사용해 실체와 관계(예: <간, 기능 이상 유발, 경화증>)를 임bedding하여 구조화된 의료 지식 그래프를 구축하였으며, 지식 기반 추론을 가능하게 하였다.
• 다중모달 주의망(SAN)에 시각적 특징과 지식 그래프 임베딩을 융합하여 답변 예측을 수행함으로써 지식 그래프를 통합하였다.
• 질문에서 관계 및 꼬리 실체를 추론하기 위해 이중 스트림 LSTM 아키텍처를 사용하여 관련 지식 그래프 삼중항을 검색하고 추론에 활용하였다.

실험 결과

연구 질문

• RQ1 대규모, 의미적 레이블이 부여되고 지식 기반인 Med-VQA 데이터셋은 최신 기술 모델의 임상 추론 과제에서 성능 향상에 기여하는가?
• RQ2 의미적 시각 레이블(세분화 마스크 및 경계 상자)은 Med-VQA 모델의 추론 능력을 어느 정도 향상시키는가?
• RQ3 외부 의료 지식 그래프 통합은 지식 기반 임상 질문의 정확도 향상에 얼마나 효과적인가?
• RQ4 양국어(영문/중문) 질문-답변 쌍의 포함은 Med-VQA 시스템의 일반화 능력과 접근성 향상에 기여하는가?
• RQ5 제안된 데이터셋은 다양한 영상 모달과 신체 부위에서 다중모달 및 지식 보강된 Med-VQA 모델 평가를 위한 견고한 벤치마크로 기능할 수 있는가?

주요 결과

• SLAKE 데이터셋은 5개 신체 부위(두부, 경부, 흉부, Abdomen, 골반강)에 걸쳐 642장의 방사선 영상과 14,000개의 질문-답변 쌍을 포함하고 있으며, VQA-RAD와 같은 기존 데이터셋 대비 커버리지가 크게 확장되었다.
• 의미적 세분화 마스크를 활용해 미세조정한 모델(VGG seg + SAN)을 사용할 경우, 시각 중심 질문의 정확도가 75.36%에 도달하였으며, 기준 모델(72.73%) 대비 2.6%p 향상되어 세부 시각 레이블의 가치를 입증하였다.
• 지식 기반 질문의 정확도는 지식 그래프 없이 70.27%에서 지식 그래프를 통합한 후 72.30%로 향상되었으며, 중국어 질문에서는 지식 기반 모델을 사용해 75.01%에 도달하여 외부 지식 통합의 효과를 입증하였다.
• 개방형 및 폐쇄형 질문을 모두 지원하며, 질문 유형 간 균형 잡힌 분포를 보여, 모델의 일반화 능력과 평가 신뢰도를 향상시켰다.
• TransE 임베딩 기반 지식 그래프를 활용해 병변 기전, 장기 기능, 치료 방법 등 복합적인 질문에 대해 정확한 추론이 가능했으며, 이는 시각 중심 모델로는 불가능한 영역이었다.
• SLAKE의 양국어 설계 덕분에 다국어 평가 및 개발이 가능했으며, 중국어 모델은 시각 중심 과제에서 74.27%의 정확도, 지식 기반 과제에서 75.01%의 정확도를 기록하여 강력한 다국어 전이 잠재력을 보였다.