[論文レビュー] Audio De-identification: A New Entity Recognition Task

Ido Cohn, Itay Laish+7 more|arXiv (Cornell University)|Mar 17, 2019

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本論文は、臨床音声記録における個人識別情報（PHI）を保護するための新しいタスクとして音声脱識別化を導入する。自動音声認識（ASR）、トランスクリプト上のテキストベースNED、および音声・テキストのアライメントを組み合わせたパイプラインを提案し、ASRおよびアライメント部の誤りが累積するにもかかわらず、50%のカバレッジ閾値で再現率0.53を達成した。

ABSTRACT

Named Entity Recognition (NER) has been mostly studied in the context of written text. Specifically, NER is an important step in de-identification (de-ID) of medical records, many of which are recorded conversations between a patient and a doctor. In such recordings, audio spans with personal information should be redacted, similar to the redaction of sensitive character spans in de-ID for written text. The application of NER in the context of audio de-identification has yet to be fully investigated. To this end, we define the task of audio de-ID, in which audio spans with entity mentions should be detected. We then present our pipeline for this task, which involves Automatic Speech Recognition (ASR), NER on the transcript text, and text-to-audio alignment. Finally, we introduce a novel metric for audio de-ID and a new evaluation benchmark consisting of a large labeled segment of the Switchboard and Fisher audio datasets and detail our pipeline's results on it.

研究の動機と目的

• 臨床会話における音声脱識別化のタスクを定義・形式化すること。
• ASR、トランスクリプト上のNER、音声・テキストアライメントを組み合わせることで、音声内のPHIを検出・脱識別するパイプラインを開発すること。
• SwitchboardおよびFisher音声データセットから大規模なサブセットを選び、人間によるPHIスパンのアノテーションを施した新規ベンチマークデータセットを構築すること。
• 部分的脱識別を考慮する新しい評価指標であるRecallρおよびPrecisionρを導入すること。
• パイプラインのエンドツーエンド性能と各コンponentごとの性能を評価し、主な誤り要因と性能ボトルネックを同定すること。

提案手法

• パイプラインはまず、単語レベルのタイムスタンプを出力する自動音声認識（ASR）を用いて音声をトランスクリプト化する。
• 最先端のモデル（Lample et al., 2016）を用いてASRトランスクリプトに名前付きエンティティ認識（NER）を適用し、テキスト内のPHIスパンを特定する。
• ASRの単語レベルの時間境界を用いて、テキストから音声へのアライメントを実行する。
• 識別されたPHI語に対応する音声セグメントに脱識別処理を適用し、部分的脱識別を許容する設定可能なカバレッジ閾値ρを設定する。
• PHI語の少なくともρ部分が脱識別されているかどうかを評価するための新しい評価指標RecallρおよびPrecisionρを定義する。
• ベンチマークSWFIは、SwitchboardおよびFisherデータセットの大きなサブセットにPHIスパンのラベルを付与することで構築され、実世界の会話音声での評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ASR、NER、アライメントを組み合わせたパイプラインアプローチが、臨床音声におけるPHIの脱識別化にどの程度有効であるか。
• RQ2 ASRおよびアライメントによる誤りの累積が、テキストベースのNERと比較してエンドツーエンド性能をどの程度低下させるか。
• RQ3 ASRの代替仮説および信頼度スコアの選択が、脱識別性能に与える影響は何か。
• RQ4 カバレッジ閾値ρによる部分的脱識別が、音声脱識別における再現率と適合率に与える影響は何か。
• RQ5 PHI語と非PHI語の間で、脱識別カバレッジの特性にどのような違いが見られるか。

主な発見

• パイプラインはカバレッジ閾値ρ=0.5でエンドツーエンド再現率0.53を達成し、誤りの累積から予想される再現率0.44を上回った。これは、誤り同士に非自明な相関関係があることを示唆している。
• M_SWFI_MixCase+Asrモデルが他のバージョンよりもエンドツーエンド評価で優れており、混合ケースのトランスクリプトおよびASRのアーティファクトを用いた学習が、より高い耐障害性をもたらすことを示している。
• PHI語のWERは17.5%、非PHI語のWERは10.5%であり、ASRの誤りが脱識別性能に顕著に影響を与えていることが示された。
• 非PHI語は、カバレッジ分布が二峰性を示しており、主に0または1に集中している。一方、PHI語は50%以上のカバレッジを示すことが多く、アライメントおよび分類の誤りが非PHI語に異なる影響を与えていることが示唆された。
• 代替ASR仮説を用いることで、M_SWFI_MixCase+Asrモデルと組み合わせた場合にわずかに性能が向上したが、単純なOR融合では信頼度が低い仮説が混入し、性能が低下した。これは、より良い統合戦略の必要性を示している。
• パディングサイズは性能向上に寄与しなかったが、最適なカバレッジ閾値をシフトさせた。これは、入力前処理の選択に敏感であることを示している。