[論文レビュー] Fully Supervised Speaker Diarization

Aonan Zhang, Quan Wang+3 more|arXiv (Cornell University)|Oct 10, 2018

Speech Recognition and Synthesis参考文献 24被引用数 8

ひとこと要約

本論文は、時間的に交互に配置された状態を持つパラメータ共有RNN（UIS-RNN）を用いた完全教師ありスピーカー・ダイアライゼーション手法を提案する。各スピークァーは共有RNNでモデル化され、未知の数のスピークァーを扱えるように距離に依存する中国料理店過程（ddCRP）を統合している。NIST SRE 2000 CALLHOMEで7.6%のダイアライゼーション誤り率（DER）を達成し、非教師ありスペクトルクラスタリングを上回り、オンライン推論を可能にしている。

ABSTRACT

In this paper, we propose a fully supervised speaker diarization approach, named unbounded interleaved-state recurrent neural networks (UIS-RNN). Given extracted speaker-discriminative embeddings (a.k.a. d-vectors) from input utterances, each individual speaker is modeled by a parameter-sharing RNN, while the RNN states for different speakers interleave in the time domain. This RNN is naturally integrated with a distance-dependent Chinese restaurant process (ddCRP) to accommodate an unknown number of speakers. Our system is fully supervised and is able to learn from examples where time-stamped speaker labels are annotated. We achieved a 7.6% diarization error rate on NIST SRE 2000 CALLHOME, which is better than the state-of-the-art method using spectral clustering. Moreover, our method decodes in an online fashion while most state-of-the-art systems rely on offline clustering.

研究の動機と目的

• 時間スタンプ付きスピークァー・ラベルが利用可能な状況で、スピークァー・ダイアライゼーションにおける非教師ありクラスタリングの限界を克服すること。
• 完全教師あり例から学習可能な、オンライン対応のトレーニング可能なダイアライゼーション・システムを開発すること。
• ベイジアン非パラメトリック・アプローチを用いて、各発話におけるスピークァー数が未知の状況でも動的に処理できること。
• dベクトルを用いたエンド・トゥ・エンド学習により、従来のクラスタリングベース手法を上回るダイアライゼーション性能を向上させること。
• オフラインクラスタリング手法と同等の性能を維持しながら、オンラインデコードを可能にすること。

提案手法

• 異なるスピークァーの状態を時間的に交互に配置した、パラメータを共有する再帰的ニューラルネットワーク（RNN）を用いて各スピークァーをモデル化する。
• 距離に依存する中国料理店過程（ddCRP）を用いて、無制限のスピークァー数を許容し、動的にスピークァー数を学習可能にする。
• 観測値とラベルの同時確率を逐次的生成モデルとして定式化する：$ p( extbf{X}, extbf{Y}, extbf{Z}) = p( extbf{x}_1,y_1) imes extstyleigprod_{t=2}^T p( extbf{x}_t,y_t,z_t| extbf{x}_{[t-1]},y_{[t-1]},z_{[t-1]}) $、ここで$ z_t $はスピークァー変更を示す。
• 真のスピークァー・ラベルを用いた教師あり学習により、UIS-RNNモデルをエンド・トゥ・エンドで訓練する。
• 事前学習済みスピークァー認識ネットワークから得られるスピークァー埋め込み（dベクトル）をUIS-RNNの入力として統合する。
• セグメントを逐次的に処理することで、リアルタイム性能を維持しながらオンライン推論を可能にする。

Fig. 1 : The baseline system architecture [ 3 ] .

実験結果

リサーチクエスチョン

• RQ1 時間スタンプ付きラベルが利用可能な状況で、完全教師ありRNNベースのアプローチが非教師ありクラスタリングを上回るか？
• RQ2 制限のない、時間的に交互な状態を持つRNNモデルが、事前の知識なしにスピークァー数を動的に学習できるか？
• RQ3 トレーニング可能な逐次モデルを用いたオンライン推論が、オフラインクラスタリング手法と同等の性能を達成できるか？
• RQ4 ドメイン内およびドメイン外データでの学習が、UIS-RNNシステムの一般化性能および性能に与える影響は何か？
• RQ5 UIS-RNNフレームワークを、事前に抽出されたdベクトルではなく、生の音声特徴を用いたエンド・トゥ・エンド学習に拡張可能か？

主な発見

• UIS-RNNシステムは、ドメイン内5分割交差検証および追加のドメイン外データを用いて、NIST SRE 2000 CALLHOMEベンチマークで7.6%のダイアライゼーション誤り率（DER）を達成した。
• 同じdベクトルを用いたスペクトルクラスタリング（8.8% DER）およびk-meansクラスタリングを上回り、完全教師あり学習の利点を示した。
• dベクトルV3（トレーニングと推論の窓サイズが一致）を用いることで、性能が著しく向上し、k-meansでのDERはV1の12.3%からV3の8.5%に低下した。
• ドメイン外データ（Disk-6 + ICSI）で学習することで、V3を用いたDERは8.2%に低下し、ドメイン内およびドメイン外データを組み合わせることでさらに7.6%まで改善された。
• UIS-RNNシステムは、オフラインクラスタリングアルゴリズムと同等またはそれ以上の性能を維持しながら、オンライン推論を可能にした。これにより、速度と精度のトレードオフを打ち破った。
• 提案されたフレームワークは汎用的であり、ビデオベースの顔クラスタリングなど、スピークァー・ダイアライゼーションを超えた応用にも適用可能である。これは、逐次的クラスタリング設計に起因する。

Fig. 2 : Generative process of UIS-RNN. Colors indicate labels for speaker segments. There are four options for $y_{7}$ given $\mathbf{x}_{[6]},y_{[6]}$ .