[論文レビュー] Understanding Medical Conversations: Rich Transcription, Confidence Scores & Information Extraction.

Hagen Soltau, Mingqiu Wang+2 more|arXiv (Cornell University)|Apr 6, 2021

Topic Modeling参考文献 37被引用数 5

ひとこと要約

本論文では、話者ダイアライゼーション、標点、大文字変換、信頼性スコアリングを統合した、長時間の医療会話のリッチトランスクリプションを実現するストリーミング型で、TransformerベースのRNN-Tモデルを提示する。自動音声認識（ASR）で20%のWERを達成し、信頼性推定で0.37のNCEを達成し、薬剤タグ付けで最大0.90のF1を達成。新規の固定アライメントRNN-Tタッカーにより、臨床的エンティティ抽出の性能が向上した。

ABSTRACT

In this paper, we describe novel components for extracting clinically relevant information from medical conversations which will be available as Google APIs. We describe a transformer-based Recurrent Neural Network Transducer (RNN-T) model tailored for long-form audio, which can produce rich transcriptions including speaker segmentation, speaker role labeling, punctuation and capitalization. On a representative test set, we compare performance of RNN-T models with different encoders, units and streaming constraints. Our transformer-based streaming model performs at about 20% WER on the ASR task, 6% WDER on the diarization task, 43% SER on periods, 52% SER on commas, 43% SER on question marks and 30% SER on capitalization. Our recognizer is paired with a confidence model that utilizes both acoustic and lexical features from the recognizer. The model performs at about 0.37 NCE. Finally, we describe a RNN-T based tagging model. The performance of the model depends on the ontologies, with F-scores of 0.90 for medications, 0.76 for symptoms, 0.75 for conditions, 0.76 for diagnosis, and 0.61 for treatments. While there is still room for improvement, our results suggest that these models are sufficiently accurate for practical applications.

研究の動機と目的

• 長時間の医療会話のためのストリーミング型でエンドツーエンドのASRシステムを開発し、リッチトランスクリプション機能を実現すること。
• 音声および語彙的特徴を用いて、医療分野のASRにおける信頼性推定を改善すること。
• 新規のRNN-Tベースの名前付きエンティティタギングモデルを用いて、正確な臨床情報抽出を可能にすること。
• 長時間の会話における系列モデリングの限界を克服するため、RNN-Tに固定アライメント学習を導入すること。

提案手法

• ストリーミング型ASRに、TransformerベースのRNN-Tモデルを採用し、時間同期ビームサーチを用いて音声認識と言語モデルを同時に最適化する。
• 話者ダイアライゼーションとロールラベル付けには、4つの話者役割を想定した統合型RNN-Tフレームワークを用いる。
• ASR出力からの音声的および語彙的特徴を用いて信頼性モデルを学習し、0.37のNCEを達成した。
• エンコード時間ステップを用いてエンティティの境界と依存関係をモデル化する、新規のRNN-Tベースのタッカーを導入した。
• 人為的にアノテートされたアライメント経路に制約を課すことで、固定アライメント学習を適用し、長時間系列における学習安定性と性能を向上させた。
• 95k件のラベルなし会話データを用いた自己学習により、希少または複雑なエンティティの性能をさらに向上させた。

実験結果

リサーチクエスチョン

• RQ1 ストリーミング型で、TransformerベースのRNN-Tモデルは、長時間の医療会話のリッチトランスクリプションにおいて高い精度を達成できるか？
• RQ2 音声的および語彙的特徴に基づく信頼性推定は、既存の方法と比較して、臨床的ASRにおいてどのように性能を発揮するか？
• RQ3 固定アライメントRNN-Tタッカーは、標準のRNN-Tと比較して、特に長時間系列において臨床的エンティティ抽出の性能を上回るか？
• RQ4 自己学習は、リソースが限られた臨床的エンティティタイプにおいて、どの程度性能を向上させるか？

主な発見

• Transformerベースのストリーミング型RNN-Tモデルは、ASRタスクで20%のWER、ダイアライゼーションで6%のWDER、大文字変換で30%のSERを達成した。
• 信頼性モデルは0.37のNCEを達成し、臨床的音声認識における信頼性推定の性能が優れていることを示した。
• RNN-Tタッカーは、薬剤で0.90のF1、症状で0.76、疾患で0.75、診断で0.76、治療で0.61を達成した。
• 固定アライメントRNN-Tモデルは、標準のRNN-Tと比較して、疾患、診断、属性のF1スコアを最大0.04向上させた。
• 自己学習により、症状、属性、疾患、診断の分野でわずかだが一貫した改善が得られ、F1スコアの上昇は最大0.02に達した。
• 誤差解析の結果、複雑または部分的なフレーズにおいて、参照アノテーションの不正確さのため、自動評価指標がモデル性能を低く評価している可能性が示された。