[論文レビュー] Triplet Network with Attention for Speaker Diarization

Huan Song, Megan Willi+3 more|arXiv (Cornell University)|Aug 4, 2018

Speech Recognition and Synthesis参考文献 18被引用数 9

ひとこと要約

本論文は、iベクトルに依存せずに、生音声から時間的音声表現を直接学習する、自己注意機構を備えたエンドツーエンドのトリプレットネットワークを提案する。トリプレット損失を用いて埋め込みとメトリック学習を同時に最適化することで、CALLHOMEでは12.7%のダイアライゼーションエラーレート（DER）を達成し、より大きな学習コーパスと微調整された全結合ネットワークを用いたiベクトルベースのベースラインを上回った。

ABSTRACT

In automatic speech processing systems, speaker diarization is a crucial front-end component to separate segments from different speakers. Inspired by the recent success of deep neural networks (DNNs) in semantic inferencing, triplet loss-based architectures have been successfully used for this problem. However, existing work utilizes conventional i-vectors as the input representation and builds simple fully connected networks for metric learning, thus not fully leveraging the modeling power of DNN architectures. This paper investigates the importance of learning effective representations from the sequences directly in metric learning pipelines for speaker diarization. More specifically, we propose to employ attention models to learn embeddings and the metric jointly in an end-to-end fashion. Experiments are conducted on the CALLHOME conversational speech corpus. The diarization results demonstrate that, besides providing a unified model, the proposed approach achieves improved performance when compared against existing approaches.

研究の動機と目的

• iベクトルベースのスプーカーダイアライゼーションシステムが特徴抽出とメトリック学習を分離しているという限界を是正し、エンドツーエンド最適化の可能性を高めること。
• iベクトルに依存せずに、トリプレット損失による統合的表現学習とメトリック学習がダイアライゼーション性能を向上させることを調査すること。
• 自己注意機構がスプーカー埋め込み学習のための逐次的音声特徴をモデル化する効果を評価すること。
• 従来のiベクトルパイプラインおよびiベクトルを用いたトリプレットネットワークと比較して、エンドツーエンドの注意ベースのトリプレットネットワークの性能を評価すること。
• 限定的なデータセットで学習されたより小さな統合モデルが、より大きなコーパスで学習された二段階システムを上回ることを示すこと。

提案手法

• モデルは自己注意機構を用いて、iベクトル抽出の必要性を排除し、生音声特徴からスプーカー埋め込みを直接学習する。
• 学習された埋め込みにトリプレット損失関数を適用し、同一発話者間の距離を最小化し、異なる発話者間の距離をマージンを設けて最大化する。
• ネットワークは、マージンM=64およびトリプレットマージンα=0.8を用いたマージン付きトリプレットマイニング戦略を採用し、TEDLIUMコーパス上でエンドツーエンドに訓練される。
• 最終的なスプーカーダイアライゼーションは、発話者数を推定するx-meansと、学習された埋め込みにおけるk-meansクラスタリングを用いて実施される。
• CALLHOMEコーパスにおけるダイアライゼーションエラーレート（DER）を評価し、オラクルの音声活動領域と250msのコラーテーランスを設定する。
• 従来の二段階パイプライン（iベクトル抽出 + メトリック学習）に代わり、統合的でエンドツーエンドで訓練可能なシステムを採用する。

実験結果

リサーチクエスチョン

• RQ1 iベクトルベースのパイプラインと比較して、トリプレット損失によるスプーカー埋め込みとメトリック学習のエンドツーエンド学習がダイアライゼーション性能を向上させられるか。
• RQ2 iベクトルを生音声ベースの注意ネットワークに置き換えることで、特に学習データが限られた状況でもより良い一般化性能が得られるか。
• RQ3 自己注意機構は、スプーカー表現学習のための音声系列における長距離依存性をどの程度効果的にモデル化できるか。
• RQ4 より小さなデータセットで学習された統合モデルが、より大きなコーパスで学習された二段階システムを上回れるか。
• RQ5 埋め込みとメトリック学習の共同最適化が、クラスタリング品質とDERに与える影響は何か。

主な発見

• 提案されたエンドツーエンドの注意付きトリプレットネットワークは、CALLHOMEコーパスで12.7%のダイアライゼーションエラーレート（DER）を達成し、iベクトル＋コサイン（18.7%）およびiベクトル＋PLDA（17.6%）のベースラインを上回った。
• TEDLIUMコーパス（iベクトル＋全結合層のトリプレットネットワークが使用したGMM-UBMコーパスより小さい）で学習されたにもかかわらず、iベクトル＋トリプレットネットワーク（13.4% DER）を上回った。
• t-SNE可視化により、学習された埋め込みが発話者を効果的に分離しており、同一発話者クラス内では密な分布を示していることが確認された。
• 開発セットにおけるk-meansクラスタリングでは、NMIが0.94、純度が0.94を達成し、スプーカー埋め込みの高品質なクラスタリングが得られた。
• アブレーションスタディの結果、低いトリプレットマージン（α=0.8）と大きなマージン（M=64）が、訓練の安定性と性能向上に寄与した。
• 埋め込みとメトリック学習の統合的エンドツーエンド学習が、iベクトル処理とメトリック学習を逐次的に行う手法よりも効果的であることが実証された。