[논문 리뷰] A Benchmark Dataset for Understandable Medical Language Translation.

Junyu Luo, Zifei Zheng외 6명|arXiv (Cornell University)|2020. 12. 04.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 전문 의료어휘와 일반인이 이해할 수 있는 표현 간의 일치를 확보하기 위해 인간이 애너테이션한 14,832개의 의료 문장 쌍(훈련 12,801개, 검증 1,015개, 테스트 1,016개)으로 구성된 MedLane을 소개한다. 11개의 평가 지표(중요한 작업 특화 지표 3개 포함)를 사용하여 9개의 번역 접근법(신규로 제안된 PMBERT-MT 모델 포함)을 평가하여 의료 텍스트 단순화의 유창성과 정확도 향상을 입증한다.

ABSTRACT

In this paper, we introduce MedLane -- a new human-annotated Medical Language translation dataset, to align professional medical sentences with layperson-understandable expressions. The dataset contains 12,801 training samples, 1,015 validation samples, and 1,016 testing samples. We then evaluate one naive and six deep learning-based approaches on the MedLane dataset, including directly copying, a statistical machine translation approach Moses, four neural machine translation approaches (i.e., the proposed PMBERT-MT model, Seq2Seq and its two variants), and a modified text summarization model PointerNet. To compare the results, we utilize eleven metrics, including three new measures specifically designed for this task. Finally, we discuss the limitations of MedLane and baselines, and point out possible research directions for this task.

연구 동기 및 목표

• 의료어 단순화를 위한 고품질의 인간 애너테이션 데이터셋 부족 문제를 해결하기 위해.
• 전문 의료 용어와 환자들이 이해할 수 있는 언어 간 격차를 메우기 위해.
• 신경 및 통계 기반 기계번역 모델의 의료 텍스트 단순화 평가를 위한 벤치마크를 수립하기 위해.
• 제안된 PMBERT-MT 아키텍처를 포함한 다양한 모델의 효과성을 이 새로운 작업에서 평가하기 위해.

제안 방법

• 인간 레이블링을 통해 14,832개의 의료 문장을 단순화된 일반어 표현으로 애너테이션한다.
• 훈련 12,801개, 검증 1,015개, 테스트 1,016개로 균형 잡힌 데이터셋을 구성한다.
• 기본 모델(복사), 통계 기반 기계번역(Moses), 네트워크 기반 기계번역 모델(비교적 PMBERT-MT 포함) 및 수정된 PointerNet을 포함한 9개의 모델을 구현하고 평가한다.
• 의료 텍스트 단순화에 특화된 3개의 새로운 평가 지표를 설계하고 통합한다.
• 유창성, 정확도, 단순성 평가를 위해 BLEU, ROUGE 및 인간 평가 대체 지표를 포함한 총 11개의 지표를 사용한다.
• PMBERT를 활용한 전이학습을 통해 PMBERT-MT 모델의 문맥 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 신경 및 통계 기반 기계번역 모델은 인간 애너테이션 기반 벤치마크와 비교해 의료 텍스트 단순화 작업에서 얼마나 잘 수행되는가?
• RQ2 의료어역번역 작업에 적용된 시퀀스-투-시퀀스 모델에서 PubMedBERT 기반 표현을 사용할 경우 어떤 영향을 미치는가?
• RQ3 의료 텍스트 단순화의 품질 평가에서 작업 특화 지표는 표준 NLP 지표와 비교해 어떻게 다른가?
• RQ4 현재 모델과 MedLane 데이터셋의 주요 한계는 무엇이며, 임상적으로 의미 있는 단순화를 생성하는 데서 어떤 문제가 있는가?

주요 결과

• 제안된 PMBERT-MT 모델은 MedLane 벤치마크에서 모든 다른 모델보다 뛰어난 성능을 보이며, 자동 평가 및 인간 평가 지표 모두에서 최고 점수를 기록한다.
• 작업 특화 지표의 포함으로 모델 출력과 인간 애너테이션 단순화 표현 간의 일치도가 크게 향상된다.
• 통계 기반 기계번역(Moses)과 표준 Seq2Seq 모델은 성능이 제한적이며, 도메인 특화 미리 학습이 필요함을 시사한다.
• 이 작업에 적합하게 수정된 PointerNet은 경쟁적인 성능을 보이며, 개성적 단순화에 잠재력을 보여준다.
• 데이터셋 분석 결과, 현재 모델들은 단순화 과정에서 임상적 의미를 유지하지 못하는 경향이 있어 주요 한계로 드러난다.
• 인간 평가 결과, 모델 출력은 일반적으로 유창하고 이해 가능하지만, 여전히 인간 수준의 단순화 품질에 못 미친다.