[논문 리뷰] PathVQA: 30000+ Questions for Medical Visual Question Answering

Xuehai He, Yichen Zhang외 3명|arXiv (Cornell University)|2020. 03. 07.

Multimodal Machine Learning Applications참고 문헌 33인용 수 85

한 줄 요약

본 논문은 PathVQA를 소개합니다. Pathology VQA 데이터셋으로 32,799 QA 쌍을 4,998 이미지에서 얻었으며, 교과서에서 반자동으로 생성되었고, 여러 VQA 모델로 baseline을 제공합니다.

ABSTRACT

Is it possible to develop an "AI Pathologist" to pass the board-certified examination of the American Board of Pathology? To achieve this goal, the first step is to create a visual question answering (VQA) dataset where the AI agent is presented with a pathology image together with a question and is asked to give the correct answer. Our work makes the first attempt to build such a dataset. Different from creating general-domain VQA datasets where the images are widely accessible and there are many crowdsourcing workers available and capable of generating question-answer pairs, developing a medical VQA dataset is much more challenging. First, due to privacy concerns, pathology images are usually not publicly available. Second, only well-trained pathologists can understand pathology images, but they barely have time to help create datasets for AI research. To address these challenges, we resort to pathology textbooks and online digital libraries. We develop a semi-automated pipeline to extract pathology images and captions from textbooks and generate question-answer pairs from captions using natural language processing. We collect 32,799 open-ended questions from 4,998 pathology images where each question is manually checked to ensure correctness. To our best knowledge, this is the first dataset for pathology VQA. Our dataset will be released publicly to promote research in medical VQA.

연구 동기 및 목표

• AI가 ABP 스타일 병리 질의에 대응할 수 있도록 병리학 VQA 데이터셋을 생성한다.
• 프라이버시 및 주석 처리 병목을 우회하기 위해 공개적으로 이용 가능한 병리학 교과서와 도서관을 활용한다.
• 다중 최첨단 모델로 구성된 베이스라인 VQA 벤치마크를 제공하여 비교를 가능하게 한다.

제안 방법

• 온라인 교과서와 PEIR Digital Library에서 병리 이미지와 캡션을 추출한다.
• 캡션을 기반으로 NLP와 규칙 기반 변환기를 사용하여 질문-답변 쌍을 반자동으로 생성한다.
• 생성된 질문의 문법과 의미를 다듬기 위해 수동으로 교정하고 후처리한다.

실험 결과

연구 질문

• RQ1 AI 시스템이 이미지와 연계된 캡션으로부터 보드 스타일의 병리학 질문에 답할 수 있는가?
• RQ2 연구 커뮤니티와 공유 가능한 병리 VQA 데이터세트가 얼마나 크고 다양한가?
• RQ3 현재의 VQA 모델이 개방형(open-ended) 및 예/아니오 병리학 질문에서 어떤 기본 수준의 성능을 보이는가?

주요 결과

• PathVQA 데이터셋은 4,998 images에 걸쳐 32,799 QA 쌍을 포함한다.
• 질문 카테고리는 7개로, 49.8%는 예/아니오, 40.9%는 what-type 개방형 질문이다.
• Baseline 결과는 예/아니오 정확도가 방법별로 57.6%에서 68.2% 사이이다.
• 개방형 QA 지표(BLEU-1/2/3, Exact match, F1)는 상대적으로 낮다(예: BLEU-1 최대 32.4, Exact match 최저 2.9%).
• 방법 1이 바일리니어 주의와 영역 제안을 사용해 예/아니오에서 가장 좋은 성능을 달성한다(68.2%).
• 방법 3이 Faster R-CNN을 활용하여 전체 이미지 특징 대비 추가로 개선되어 예/아니오에서 62.0%를 달성한다.