[논문 리뷰] Effective Transfer Learning for Identifying Similar Questions: Matching User Questions to COVID-19 FAQs

Clara H. McCreery, Namit Katariya외 3명|arXiv (Cornell University)|2020. 08. 04.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 의료 질문 유사도 매칭을 햖을 때 성능을 향상시키기 위해 더블 희소 트레이닝 전이 학습 방법을 제안한다. 질문-답변 쌍으로 사전 훈련한 후, 레이블이 부여된 의료 질문 쌍으로 훈련한다. 이 방법은 의사가 애너테이션한 데이터셋에서 84.5%의 정확도를 달성하여 기준 모델들을 크게 앞서며, 사용자 COVID-19 질문을 FAQ에 매칭하는 실시간 시스템을 구동한다.

ABSTRACT

People increasingly search online for answers to their medical questions but the rate at which medical questions are asked online significantly exceeds the capacity of qualified people to answer them. This leaves many questions unanswered or inadequately answered. Many of these questions are not unique, and reliable identification of similar questions would enable more efficient and effective question answering schema. COVID-19 has only exacerbated this problem. Almost every government agency and healthcare organization has tried to meet the informational need of users by building online FAQs, but there is no way for people to ask their question and know if it is answered on one of these pages. While many research efforts have focused on the problem of general question similarity, these approaches do not generalize well to domains that require expert knowledge to determine semantic similarity, such as the medical domain. In this paper, we show how a double fine-tuning approach of pretraining a neural network on medical question-answer pairs followed by fine-tuning on medical question-question pairs is a particularly useful intermediate task for the ultimate goal of determining medical question similarity. While other pretraining tasks yield an accuracy below 78.7% on this task, our model achieves an accuracy of 82.6% with the same number of training examples, an accuracy of 80.0% with a much smaller training set, and an accuracy of 84.5% when the full corpus of medical question-answer data is used. We also describe a currently live system that uses the trained model to match user questions to COVID-related FAQs.

연구 동기 및 목표

• 대규모이고 고품질의 레이블이 부여된 데이터가 부족한 상황에서 의미적으로 유사한 의료 질문을 식별하는 데 도전한다.
• 소규모 어휘적 변화가 의미를 크게 바꾸는 경우가 많은 의료 의미의 미묘한 특성을 포착하지 못하는 일반 목적 모델의 한계를 극복한다.
• 저자원 의료 질문 유사도 작업에서 성능을 향상시키기 위해 도메인 내 사전 훈련을 활용하는 확장 가능한 전이 학습 기반 솔루션을 개발한다.
• 향후 의료 NLP 분야 연구를 지원하기 위해 1,000개의 의사가 애너테이션한 의료 질문 쌍으로 구성된 새로운 데이터셋인 MQP를 구축하고 공개한다.
• 훈련된 모델을 활용해 사용자 질문을 기존의 COVID-19 FAQ에 실시간으로 매칭하는 실시간 시스템을 구축한다. 이는 신뢰할 수 있는 건강 정보에의 접근을 향상시킨다.

제안 방법

• 마스크된 언어 모델링과 다음 문장 예측을 사용하여 의료 질문-답변(QA) 쌍의 대규모 코퍼스에서 신경망을 사전 훈련하여 도메인 특화된 언어 패턴을 활용한다.
• 의미 유사도에 대해 애너테이션된 소규모이고 수작업으로 정제된 의료 질문 쌍 데이터셋(MQP 데이터셋)에 대해 사전 훈련된 모델을 희소 트레이닝한다.
• 이중 희소 트레이닝 전략을 적용한다: 먼저 도메인 내 QA 매칭에서, 그 다음 질문-질문 유사도에서 훈련하여 의료 도메인 지식을 효과적으로 전이한다.
• BERT와 XLNet을 기본 아키텍처로 사용하며, 임의의 의료 용어와 의미의 미묘함을 포착하기 위해 도메인 특화 사전 훈련을 통해 적응시킨다.
• 전이 학습을 활용하여 대규모 레이블이 부여된 데이터에 대한 의존도를 줄여, 레이블이 제한된 경우에도 적용 가능한 접근법을 확보한다.
• MQP 데이터셋에서 정확도와 같은 표준 지표를 사용하여 모델 성능을 평가하고, 도메인 외부 사전 훈련 기반 모델과 비교한다.

실험 결과

연구 질문

• RQ1 의료 질문-답변 쌍으로 사전 훈련하면 저자원 의료 환경에서 질문 유사도 모델의 성능을 향상시킬 수 있는가?
• RQ2 중간 단계의 사전 훈련 작업 선택(예: QA 대비 일반 NLP)이 의료 질문 유사도 작업의 최종 성능에 어떤 영향을 미치는가?
• RQ3 이중 희소 트레이닝 접근법이 도메인 특화 지식을 전이함으로써 의료 NLP에서의 데이터 부족 문제를 어느 정도 완화할 수 있는가?
• RQ4 표준 FAQ와는 어조, 철자, 주제 분포가 다른 실제 사용자 질문에 대해 모델의 일반화 능력은 어떠한가?
• RQ5 모델의 실패 유형은 무엇이며, 약한 감독 또는 주도 학습을 통해 이러한 영역을 체계적으로 향상시킬 수 있는가?

주요 결과

• 전체 의료 QA 코퍼스를 사용해 사전 훈련한 이중 희소 트레이닝 접근법은 MQP 데이터셋에서 84.5%의 정확도를 달성하여 기준 모델들을 크게 앞서는 성능을 보였다.
• 매우 작은 학습 세트를 사용하더라도 모델은 80.0%의 정확도를 달성하여 데이터 효율성과 데이터 부족에 대한 강건성을 입증했다.
• 동일한 수의 학습 예제를 사용했을 때, 일반 도메인 데이터로 사전 훈련된 기준 모델들보다도 뛰어난 82.6%의 정확도를 기록했다.
• 특히, 단 한 개의 핵심 의료 용어만 다를 뿐인 질문들 사이의 미묘한 의미적 차이를 식별하는 데서 성능이 뛰어났으며, 이는 어휘적 겹침이 낮은 경우에도 유의미했다.
• 오류 분석 결과 체계적인 실패 패tern이 드러나, 약한 감독 또는 주도 학습을 통해 어려운 데이터 영역의 성능 향상을 체계적으로 개선할 수 있음을 시사했다.
• 이 접근법은 사용자 질문을 기존의 COVID-19 FAQ에 실시간으로 매칭하는 실시간 시스템을 구동할 수 있게 해, 안정적인 건강 정보 접근성을 향상시켰다.