[논문 리뷰] Biomedical Question Answering: A Survey of Approaches and Challenges

Qiao Jin, Zheng Yuan외 8명|arXiv (Cornell University)|2021. 02. 10.

Topic Modeling참고 문헌 225인용 수 10

한 줄 요약

이 종합 검토는 생물의학적 질문 응답(BQA)에 대한 포괄적인 개요를 제공하며, 기존 접근 방식을 다섯 가지 유형으로 분류한다: 고전적, 정보 검색, 기계 독해 이해, 지식 기반, 질문 함의. 주요 데이터셋을 분석하고 최신 기술을 평가하며, 데이터 규모와 표기 품질의 한계와 같은 주요 과제를 밝히고, 평가 지표 향상과 편향 보정에서의 공정성 향상과 같은 향후 방향을 논의한다.

ABSTRACT

Automatic Question Answering (QA) has been successfully applied in various domains such as search engines and chatbots. Biomedical QA (BQA), as an emerging QA task, enables innovative applications to effectively perceive, access and understand complex biomedical knowledge. There have been tremendous developments of BQA in the past two decades, which we classify into 5 distinctive approaches: classic, information retrieval, machine reading comprehension, knowledge base and question entailment approaches. In this survey, we introduce available datasets and representative methods of each BQA approach in detail. Despite the developments, BQA systems are still immature and rarely used in real-life settings. We identify and characterize several key challenges in BQA that might lead to this issue, and discuss some potential future directions to explore.

연구 동기 및 목표

• 생물의학적 질문 응답(BQA)의 다섯 가지 주요 접근 방식인 고전적, 정보 검색, 기계 독해 이해, 지식 기반, 질문 함의를 체계적으로 분류하고 분석하는 것.
• 기존의 BQA 데이터셋을 검토하고, 대표적인 모델을 평가하며, 사실형, 다중 선택, 생성형 QA와 같은 다양한 작업 유형에서의 성능을 평가하는 것.
• BQA에서의 주요 과제, 예를 들어 제한된 표기 데이터, 질문의 낮은 추론 복잡성, 평가 지표의 한계 등을 특정하고 특성화하는 것.
• 특히 단어 임베딩과 의료 응용 분야에서의 역사적 데이터 편향에 기반한 BQA의 공정성 및 편향 문제를 검토하는 것.
• 생물의학 지식 기반(예: UMLS)을 평가 지표에 통합하고, 자원이 적은 언어를 대상으로 한 다국어 BQA 시스템 개발과 같은 향후 연구 방향을 탐색하는 것.

제안 방법

• 기본 아키텍처와 방법론에 기반해 BQA 시스템을 다섯 가지 유형으로 분류: 고전적, 정보 검색, 기계 독해 이해, 지식 기반, 질문 함의.
• 각 접근 방식 내에서 대표적인 모델을 검토하고 비교: BioBERT, BERT 기반 MRC 모델, 검색 보강 생성 시스템.
• MRR, MAP, EM, F1, BLEU, ROUGE와 같은 평가 지표를 분석하고, 생물의학적 동의어와 개념 등가성 처리에서의 한계를 강조.
• 생물의학적 용어의 의미 등가성을 고려하기 위해 도메인 전용 지식(예: UMLS 온톨로지)을 평가에 통합하는 것을 제안.
• 단어 임베딩과 문맥적 표현(예: BERT)을 분석하여 BQA의 공정성과 편향을 검토하고, 훈련 데이터에서 성별 및 인종 편향이 존재함을 지적.
• 비영어어를 대상으로 한 다국어 및 자원이 적은 BQA 데이터셋(예: 중국어, 스페인어, 페르시아어)의 사용을 통해 BQA 연구에서의 비영어어 격차를 해소하는 데 초점.

Figure 1. Overview of major biomedical question answering approaches. Boxes indicate methods or resources.

실험 결과

연구 질문

• RQ1 생물의학적 질문 응답의 다섯 가지 주요 접근 방식은 무엇이며, 아키텍처와 성능에서 어떻게 다릅니까?
• RQ2 데이터 규모, 표기 품질, 추론 복잡성과 관련된 BQA의 주요 과제는 무엇입니까?
• RQ3 EM 및 F1과 같은 표준 평가 지표가 왜 생물의학적 답변에서 의미적 등가성을 포착하지 못하는지, 그리고 이를 어떻게 해결할 수 있습니까?
• RQ4 단어 임베딩과 사전 학습된 언어 모델이 BQA 시스템의 편향에 기여하는 방식은 무엇이며, 임상 의사결정 지원에 어떤 영향을 미치나요?
• RQ5 다국어 및 자원이 적은 BQA 분야에서의 진전은 무엇이며, 비영어 생물의학 NLP 분야에서 남아 있는 격차는 무엇입니까?

주요 결과

• BioASQ 벤치마크에서는 시간이 지남에 따라 성능 향상이 두드러지며, BioASQ 8에서는 상위 모델이 약 50%의 F1과 MRR를 기록한 반면, BioASQ 1에서는 약 20%에 그쳤다.
• BioBERT와 같은 대규모 사전 학습된 언어 모델이 BQA에서 지배적인 위치를 차지하고 있으며, 최신 기술 시스템은 이들에 크게 의존하고 있다.
• 현재 평가 지표인 EM과 F1은 동의어 문제(예: '신장 질환' vs. '폐질환')로 인해 개념적으로 올바른 답변를 인식하지 못해 정답 예측 수를 낮추는 경향이 있다.
• UMLS나 단어 벡터 유사도(예: 코사인 유사도) 기반의 동의어 평가 방식을 통해 BQA 평가의 공정성과 정확도를 향상시킬 수 있으며, Šuster와 Daelemans(2018)의 연구에서 이를 입증했다.
• 단어 임베딩과 문맥적 표현(예: 성별 스테레오타입이 포함된 연관성 분석)에서의 편향은 여전히 BQA에서 심각한 문제이며, 특히 의료 응용 분야에서 더욱 그렇다.
• 비영어어 BQA는 도메인 특화 자원과 NLP 도구의 부족으로 인해 여전히 개발이 부진한 편이지만, 최근 중국어, 스페인어, 페르시아어를 위한 데이터셋이 도입되면서 일부 진전이 있었다.

Figure 2. An instance of VQA-Med.