[論文レビュー] Enhancements for Audio-only Diarization Systems

Dimitrios Dimitriadis|arXiv (Cornell University)|Aug 30, 2019

Speech Recognition and Synthesis参考文献 22被引用数 7

ひとこと要約

この論文では、d-ベクトル特徴量に対する非線形フィルタリングを用いた時間的スムージングを導入し、Deep Embedded Clustering (DEC) アルゴリズムを改善する損失関数を提案することで、音声のみのスピーカー・ダイアライゼーションを向上させた。提案手法は、スピーク数が既知の条件下でAMIで20%、DIHARDで19%の相対的改善を達成し、制御された条件下でベースラインクラスタリング手法や最先端のシステムを著しく上回った。

ABSTRACT

In this paper two different approaches to enhance the performance of the most challenging component of a Speaker Diarization system are presented, i.e. the speaker clustering part. A processing step is proposed enhancing the input features with a temporal smoothing process combined with nonlinear filtering. We, also, propose improvements on the Deep Embedded Clustering (DEC) algorithm -- a nonlinear feature transformation. The performance of these enhancements is compared with different clustering algorithms, such as the UISRNN, k-Means, Spectral clustering and x-Means. The evaluation is held on three different tasks, i.e. the AMI, DIHARD and an internal meeting transcription task. The proposed approaches assume a known number of speakers and time segmentations for the audio files. Since, we focus only on the clustering component of diarization for this work, the segmentation provided is assumed perfect. Finally, we present how supervision, in the form of given speaker profiles, can further improve the overall diarization performance. The proposed enhancements yield substantial relative improvements in all 3 tasks, with 20\% in AMI and 19\% better than the best diarization system for DIHARD task, when the number of speakers is known.

研究の動機と目的

• 短いセグメントやリバーブが強い状況などの困難な条件下でも、音声のみのダイアライゼーションシステムにおけるスピーカークラスタリングの性能を向上させること。
• k-Means、スペクトルクラスタリング、x-Meansなどの既存のクラスタリングアルゴリズムの限界を克服するため、特徴レベルの前処理とアルゴリズムの改良を提案すること。
• セグメント長がクラスタリング性能に与える影響、特に短い発話セグメント（1.5秒未塔）に対しての影響を調査すること。
• クラスタリングの滑らかさと耐性を向上させるために、修正された損失関数を用いてDeep Embedded Clustering (DEC) アルゴリズムを強化すること。
• スピーク数が既知であることや、スピークプロファイルによる監視が、全体のダイアライゼーション性能に与える利点を評価すること。

提案手法

• クラスタリングの前段階で、d-ベクトル特徴量に対して時間的スムージングと中央値フィルタリングを適用し、ノイズを低減するとともに時間的整合性を向上させること。
• DECアルゴリズムに正則化項を含む修正された損失関数を導入し、滑らかなクラスタリング行動を促進し、一般化性能を向上させること。
• DECにおける自己符号化器ベースのボトルネック層を用い、非関連情報をフィルタリングしながら、コンパクトで判別性の高いスピーク表現を学習すること。
• 最初に長い発話セグメントでDECモデルを学習させ、その後短いセグメントに適用することで表現学習を改善すること。
• オラクルセグメンテーションと既知のスピーク数を前提に、提案手法をk-Means、スペクトルクラスタリング、x-Means、UISRNNと比較すること。
• x-Meansでは、クラスタ数の自動推定にベイジアン情報基準（BIC）を用いるが、クラスタ数が不明な場合には性能が低下する。

実験結果

リサーチクエスチョン

• RQ1 d-ベクトルの時間的フィルタリングは、特に短いセグメントに対してクラスタリング性能にどのように影響するか？
• RQ2 DECアルゴリズムの損失関数を改善することで、クラスタリングの正確性と耐性はどの程度向上するか？
• RQ3 長時間のトレーニングセグメントを用いることで、短いセグメントに対するクラスタリングモデルの性能はどの程度向上するか？
• RQ4 クラスタリング中にクラスタ数を推定するのではなく、スピーク数が既知であると仮定することで、どの程度の性能向上が達成できるか？
• RQ5 スピークプロファイルによる監視を、強化されたクラスタリングと組み合わせることで、ダイアライゼーション結果はさらに向上するか？

主な発見

• 提案された時間的フィルタリングおよびd-ベクトルの中央値平均化により、元のDECと比較してAMIタスクで22%の相対的改善が達成された。
• 改善されたDECアルゴリズムは、元のDECと比較して6.5%の相対的改善を達成し、最良のベースライン（スペクトルクラスタリング）と比較して19%の改善を示した（AMIデータセット）。
• DIHARDタスクでは、スピーク数が既知の条件下で、最先端手法（18.17% DER → 15.05% DER）に対して19.5%の相対的改善を達成した。
• 1.5秒以上のセグメントのみを用いることで、すべてのセグメントを含めた場合と比較して62%の相対的性能向上が得られ、すべてのセグメントを使用した場合の最適性能の31.4%を回復した。
• k-Meansとx-Meansの性能差は顕著で（k-Meansが19%の改善）、スピーク数をシステムで把握していることの重要性を示している。
• 前処理と組み合わせた改善されたDECモデルは、ベースライン手法と比較して、クラスタリング性能で最大31%の向上を達成しており、損失関数の修正が有効であることを示している。