[논문 리뷰] Speech recognition for medical conversations

Chung‐Cheng Chiu, Anshuman Tripathi외 12명|arXiv (Cornell University)|2017. 11. 20.

Topic Modeling참고 문헌 12인용 수 11

한 줄 요약

이 논문은 연결성 시간 분류(CTC) 및 청취-주소-스펠(LAS) 모델을 사용하여 의사-환자 임상 대화를 음성 인식하는 엔드 투 엔드 음성 인식 시스템을 제시한다. 익명화된 임상 음성 데이터 14,000시간에 대해 훈련된 LAS 모델은 18.3%의 단어 오류율(WER)을 기록했으며, 노이즈가 많은 트랜스크립트에 대해 강력한 내성성을 보였고, 데이터 정제 및 언어 모델 적응을 광범위하게 수행해야만 20.1% WER에 도달할 수 있었던 CTC 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

In this work we explored building automatic speech recognition models for transcribing doctor patient conversation. We collected a large scale dataset of clinical conversations ($14,000$ hr), designed the task to represent the real word scenario, and explored several alignment approaches to iteratively improve data quality. We explored both CTC and LAS systems for building speech recognition models. The LAS was more resilient to noisy data and CTC required more data clean up. A detailed analysis is provided for understanding the performance for clinical tasks. Our analysis showed the speech recognition models performed well on important medical utterances, while errors occurred in causal conversations. Overall we believe the resulting models can provide reasonable quality in practice.

연구 동기 및 목표

• 실세계 의사-환자 의료 대화를 음성 전사하기 위한 확장 가능한 자동 음성 인식(ASR) 시스템을 개발하기 위해.
• 겹치는 말, 다양한 음질, 전문 용어가 많은 도메인 특화 환경에서의 노이즈가 많은 다중 화자 장기 대화의 과제를 해결하기 위해.
• 노이즈가 많은 데이터를 다룰 때 CTC 기반 모델과 엔드 투 엔드 LAS 모델의 효과성을 비교하기 위해.
• 임상 문서화에 필수적인 핵심 의료 용어 및 약물명 인식 성능 평가를 위해.
• 엔드 투 엔드 모델이 전통적인 CTC 접근 방식에 비해 수동 데이터 정제 및 외부 언어 모델에 대한 의존도를 줄일 수 있음을 입증하기 위해.

제안 방법

• 연결성 시간 분류 손실과 FST 기반 디코더를 사용한 문맥 의존 음소 출력을 갖춘 CTC 기반 ASR 시스템을 구축하였다.
• 양방향 및 단방향 CTC 모델을 개발하였으며, 도메인에 맞는 n-gram 언어 모델과 발음 사전을 함께 사용하였다.
• 자기주의 기반 어텐션 메커니즘을 사용한 인코더-디코더 아키텍처를 갖춘 엔드 투 엔드 LAS 모델을 구현하여 그래프음 수준의 전사 결과를 생성하였다.
• 14,000시간 분량의 코퍼스에서 정렬 및 전사 품질 향상을 위해 이중 단계의 데이터 세그먼테이션 및 정제 전략을 적용하였다.
• LAS 모델에서 스케줄링 샘플링과 다중 머리 어텐션을 적용하여 내성성 향상 및 오류율 감소를 도모하였다.
• 모델 최적화를 위해 MTR(모델 튜닝 및 재학습) 및 EMBR(오류 모델링 및 역전파 정밀화)를 포함한 광범위한 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 겹치는 말과 변동하는 음질을 가진 노이즈가 많은 실제 의료 대화 데이터에서 CTC 및 LAS 모델의 성능는 어떻게 비교되는가?
• RQ2 CTC 기반 모델에 비해 데이터 품질이 LAS 모델에 미치는 영향은 어느 정도인가?
• RQ3 엔드 투 엔드 LAS 모델은 외부 언어 모델 없이도 임상적으로 중요한 문구에서 높은 정확도를 달성할 수 있는가?
• RQ4 모델들은 말하는 임상 대화에서 핵심 의료 용어, 특히 약물명 인식에 얼마나 효과적인가?
• RQ5 데이터 정제 및 언어 모델 적응은 CTC 기반 시스템과 LAS 모델의 성능에 각각 어떤 기여를 하는가?

주요 결과

• LAS 모델은 18.3%의 단어 오류율(WER)을 기록했으며, 광범위한 데이터 정제 및 언어 모델 통합을 거친 후에도 20.1% WER에 머무르는 CTC 모델보다 뛰어난 성능을 보였다.
• LAS 모델은 노이즈가 많은 전사 텍스트에 강건했으며 외부 언어 모델이 필요로 하지 않았다. 반면 CTC 모델은 만족스러운 성능을 달성하기 위해 상당한 데이터 전처리 및 매칭된 언어 모델이 필요로 했다.
• 임상적으로 중요한 문구에서 양방향 모델을 사용한 CTC 모델은 정밀도 92%와 재현율 86%를 기록하여 핵심 의료 콘텐츠 처리에 강력한 성능을 보였다.
• LAS 모델은 치료 관련 약물명 인식에서 98.2%의 재현율을 기록하여 중요한 의료 용어를 효과적으로 포착하고 있음을 시사했다.
• 오류 분석 결과, CTC 모델은 짧은 화자 전환(<1초)과 겹치는 말, 불순성 있는 말투에 특히 취약했으며, 일반적인 대화 내용을 삭제하거나 잘못 기록하는 경향이 있었다.
• LAS 모델의 주요 오류는 일반 단어의 음향 모델링 오류에서 기인했으며, 예를 들어 'Don’t pay a penny' → 'Don’t byetta penny' 와 같이 유사한 발음의 단어를 혼동하는 경향이 있었다. 이는 모델이 언어 패턴을 효과적으로 학습하지만, 유사 발음어를 혼동할 수 있음을 시사한다.