[논문 리뷰] Domain-Relevant Embeddings for Medical Question Similarity

Clara H. McCreery, Namit Katariya외 3명|arXiv (Cornell University)|2019. 10. 09.

Topic Modeling참고 문헌 13인용 수 5

한 줄 요약

이 논문은 의료 질문-답변 쌍을 사용하여 의료 질문 유사도를 향상시키기 위한 준지도 학습 전훈 방법을 제안한다. 일반 도메인 전훈(예: Quora)보다 평균 3.7% 높은 정확도를 기록한다. 이 방법은 BERT 유사 모델에 도메인 특화 의료 지식을 통합함으로써, 특히 라벨이 적은 데이터에서 성능을 크게 향상시킨다. 이는 의료 NLP에서 전이 학습을 위해 도메인 내 중간 작업을 활용하기 때문이다.

ABSTRACT

The rate at which medical questions are asked online far exceeds the capacity of qualified people to answer them, and many of these questions are not unique. Identifying same-question pairs could enable questions to be answered more effectively. While many research efforts have focused on the problem of general question similarity for non-medical applications, these approaches do not generalize well to the medical domain, where medical expertise is often required to determine semantic similarity. In this paper, we show how a semi-supervised approach of pre-training a neural network on medical question-answer pairs is a particularly useful intermediate task for the ultimate goal of determining medical question similarity. While other pre-training tasks yield an accuracy below 78.7% on this task, our model achieves an accuracy of 82.6% with the same number of training examples, and an accuracy of 80.0% with a much smaller training set.

연구 동기 및 목표

• 일반 NLP 모델을 의료 도메인에 적응시켜 의료 질문 유사도를 향상시키는 것.
• 의료 QA 쌍에서의 도메인 내 전훈이 일반 질문 쌍에서의 도메인 외 전훈보다 우수한가를 조사하는 것.
• 의료 질문 유사도에서 학습 데이터 크기가 모델 성능에 미치는 영향을 평가하는 것.
• 모델 오류를 분석하고 의료 용어나 표현 방식과 관련된 근본 원인을 규명하는 것.
• 도메인 특화 전훈이 모델이 의료적으로 미묘한 언어를 이해하는 데 어떻게 기여하는지 탐색하는 것.

제안 방법

• 의료 질문-답변(QA) 쌍 데이터셋에서 BERT와 XLNet을 미세조정하여 도메인 특화 지식으로 전훈한다.
• 의사가 애너테이션한 데이터에서 일치하는(양성) 및 불일치하는(음성) 질문 쌍을 생성함으로써 준지도 학습 접근법을 사용한다.
• 이중 미세조정을 수행한다: 먼저 중간 작업(QA 또는 Quora)에서, 그 다음 최종 의료 질문 유사도 작업에서.
• 최종 작업에 사용된 질문들을 전훈 데이터에서 분리하고 제거하여 데이터 泄露를 방지한다.
• 입력 질문을 반복적으로 수정함으로써 오류 분석을 수행하고, 문제의 언어적 또는 의료적 특징을 규명한다.
• 오라클 인간 레이블링(87.6% 정확도)을 사용하여 모델 평가의 기준을 설정한다.

실험 결과

연구 질문

• RQ1 의료 질문-답변 쌍에서의 전훈이 일반 도메인 질문 쌍에서의 전훈보다 의료 질문 유사도 성능을 향상시키는가?
• RQ2 최종 작업 학습 세트 크기가 감소함에 따라 도메인 내 및 도메인 외 전훈 간 성능 격차는 어떻게 변화하는가?
• RQ3 어떤 종류의 언어적 또는 의료적 특징이 모델이 잘못된 유사도 판단을 내리게 하는가?
• RQ4 도메인 내 전훈이 일반 모델이 간과하는 비문제적 표현이나 의료 전용 용어를 이해하는 데 도움이 되는가?
• RQ5 의료 QA 쌍에서 전훈된 모델이 일반 QQP 데이터에서 전훈된 모델보다 의료 동의어나 맥락적 뉘앙스를 얼마나 더 잘 학습하는가?

주요 결과

• 의료 질문-답변 쌍에서의 전훈은 최종 의료 질문 유사도 작업에서 82.6%의 정확도를 달성하며, 다음으로 우수한 모델보다 평균 3.7% 높은 성능을 기록한다.
• 도메인 내 및 도메인 외 모델 간 성능 격차는 학습 세트가 작아질수록 크게 벌어지며, 1.9k개의 학습 예제에서 최대 4.4%의 격차를 보인다.
• 의료 QA 쌍에서 전훈된 모델은 '4’8"'가 빈약한 성장(저성장)을 의미한다는 비문제적 표현을 올바르게 분류하지만, 일반 모델은 의료 용어를 오해하여 잘못 분류한다.
• 오류 분석 결과, 도메인 외 모델은 의료 동의어나 비표준 표현을 포함한 질문에서 자주 실패하는 반면, 도메인 내 모델은 이를 정확히 해결한다.
• QQP 모델은 일반적인 표현의 등가성을 학습하지만 의료 전용 용어에서는 어려움을 겪는 반면, QA 모델은 제한된 학습 데이터에도 불구하고 의료 관련 의미를 잘 포착한다.
• 이 연구는 의료 NLP에서 전훈의 도메인 관련성은 작업 유사성보다 더 중요하며, 특히 데이터가 적은 환경에서 그러한 영향이 크다는 것을 입증한다.