[논문 리뷰] Understanding Medical Conversations: Rich Transcription, Confidence Scores & Information Extraction.

Hagen Soltau, Mingqiu Wang외 2명|arXiv (Cornell University)|2021. 04. 06.

Topic Modeling참고 문헌 37인용 수 5

한 줄 요약

이 논문은 장기적인 의료 대화의 풍부한 음성 인식을 위한 스트리밍, 트랜스포머 기반 RNN-T 모델을 제시한다. 이 모델은 화자 다이어라이제이션, 문장 부호, 대문자 표기, 신뢰도 점수를 포함한다. 음성 인식에서는 20% WER, 신뢰도 추정에서는 0.37 NCE, 약물 태깅에서는 최대 0.90 F1의 성능을 기록하였으며, 임의의 정렬을 고정하는 새로운 RNN-T 태거 모델이 임상 엔티티 추출 성능을 향상시켰다.

ABSTRACT

In this paper, we describe novel components for extracting clinically relevant information from medical conversations which will be available as Google APIs. We describe a transformer-based Recurrent Neural Network Transducer (RNN-T) model tailored for long-form audio, which can produce rich transcriptions including speaker segmentation, speaker role labeling, punctuation and capitalization. On a representative test set, we compare performance of RNN-T models with different encoders, units and streaming constraints. Our transformer-based streaming model performs at about 20% WER on the ASR task, 6% WDER on the diarization task, 43% SER on periods, 52% SER on commas, 43% SER on question marks and 30% SER on capitalization. Our recognizer is paired with a confidence model that utilizes both acoustic and lexical features from the recognizer. The model performs at about 0.37 NCE. Finally, we describe a RNN-T based tagging model. The performance of the model depends on the ontologies, with F-scores of 0.90 for medications, 0.76 for symptoms, 0.75 for conditions, 0.76 for diagnosis, and 0.61 for treatments. While there is still room for improvement, our results suggest that these models are sufficiently accurate for practical applications.

연구 동기 및 목표

• 장기적인 의료 대화를 위한 스트리밍, 엔드 투 엔드 음성 인식 시스템을 개발하여 풍부한 전사 기능을 제공한다.
• 음성 및 어휘적 특징을 활용해 의료 음성 인식에서의 신뢰도 추정을 향상시킨다.
• 새로운 RNN-T 기반 명명 엔티티 태깅 모델을 통해 정확한 임상 정보 추출을 가능하게 한다.
• 장기적인 대화에서의 시퀀스 모델링의 한계를 해결하기 위해 RNN-T에 대한 고정 정렬 훈련을 도입한다.

제안 방법

• 스트리밍 음성 인식을 위해 트랜스포머 기반 RNN-T 모델을 사용하며, 시간에 동기화된 범위 탐색을 통해 음성 및 언어 모델링을 동시에 최적화한다.
• 4명의 화자 역할을 고려한 통합 RNN-T 프레임워크를 사용해 화자 다이어라이제이션 및 역할 레이블링을 수행한다.
• ASR 출력에서 유도된 음성 및 어휘적 특징을 사용해 신뢰도 모델을 훈련시켜 0.37 NCE의 성능을 달성한다.
• 엔티티 경계와 의존 관계를 발화 시간 단위로 모델링하는 새로운 RNN-T 기반 태거를 도입한다.
• 인간이 애너테이션한 정렬 경로에 제약을 두어 고정 정렬 훈련을 적용함으로써, 장기적인 시퀀스에서의 훈련 안정성과 성능을 향상시켰다.
• 희귀하거나 복잡한 엔티티에서 성능을 향상시키기 위해 95,000개의 레이블이 없는 대화를 활용해 자기 학습을 적용했다.

실험 결과

연구 질문

• RQ1 스트리밍, 트랜스포머 기반 RNN-T 모델은 장기적인 의료 대화의 풍부한 전사에서 높은 정확도를 달성할 수 있는가?
• RQ2 음성 및 어휘적 특징에 기반한 신뢰도 추정은 기존 방법에 비해 임상 음성 인식에서 어떻게 성능을 발휘하는가?
• RQ3 고정 정렬 RNN-T 태거는 특히 장기적인 시퀀스에서 표준 RNN-T보다 임상 엔티티 추출 성능을 뛰어나게 할 수 있는가?
• RQ4 자기 학습은 자원이 적은 임상 엔티티 유형에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 트랜스포머 기반 스트리밍 RNN-T 모델은 음성 인식 작업에서 20% WER, 다이어라이제이션에서 6% WDER, 대문자 표기에서 30% SER의 성능을 기록했다.
• 신뢰도 모델은 0.37 NCE를 기록하여 임상 음성 인식에서의 신뢰도 추정 성능가 매우 우수함을 시사한다.
• RNN-T 태거는 약물에서 0.90 F1, 증상에서 0.76, 상태에서 0.75, 진단에서 0.76, 치료에서 0.61의 F1 성능을 기록했다.
• 고정 정렬 RNN-T 모델은 표준 RNN-T 대비 상태, 진단, 속성에서 F1 점수를 최대 0.04 향상시켰다.
• 자기 학습은 증상, 속성, 상태, 진단에서 소규모이지만 일관된 성능 향상을 가져왔으며, F1 점수 최대 0.02 향상이 관찰되었다.
• 오류 분석 결과, 특히 복잡하거나 부분적인 어휘 표현에서 기준 참조의 정확도 부족으로 인해 자동 평가 지표가 모델 성능을 과소 평가할 수 있음을 확인했다.