[論文レビュー] Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification

Sobhan Soleymani, Ali Dabouei+4 more|arXiv (Cornell University)|Jul 31, 2018

Speech Recognition and Synthesis参考文献 17被引用数 5

ひとこと要約

本論文は、Mel周波数スペクトログ램とフォノセマティック特徴（ジッター、シャイマー、基本周波数）をCNN-MLP融合により共同で学習する、プロソディック強化型シamese畳み込みニューラルネットワークを提案し、テキストに依存しないクロスデバイス発話者認証を実現する。モデルはFBIボイスコレクション2016データセットで13.11%のEERを達成し、i-vector/PLDAおよびNagraniら（2017）の深層学習アーキテクチャを含む最先端手法を上回る性能を示した。

ABSTRACT

In this paper a novel cross-device text-independent speaker verification architecture is proposed. Majority of the state-of-the-art deep architectures that are used for speaker verification tasks consider Mel-frequency cepstral coefficients. In contrast, our proposed Siamese convolutional neural network architecture uses Mel-frequency spectrogram coefficients to benefit from the dependency of the adjacent spectro-temporal features. Moreover, although spectro-temporal features have proved to be highly reliable in speaker verification models, they only represent some aspects of short-term acoustic level traits of the speaker's voice. However, the human voice consists of several linguistic levels such as acoustic, lexicon, prosody, and phonetics, that can be utilized in speaker verification models. To compensate for these inherited shortcomings in spectro-temporal features, we propose to enhance the proposed Siamese convolutional neural network architecture by deploying a multilayer perceptron network to incorporate the prosodic, jitter, and shimmer features. The proposed end-to-end verification architecture performs feature extraction and verification simultaneously. This proposed architecture displays significant improvement over classical signal processing approaches and deep algorithms for forensic cross-device speaker verification.

研究の動機と目的

• 発話者認証における長期間のプロソディックおよび言語的特徴を捉える能力に欠けるスペクトログラム特徴の限界を解消すること。
• デバイスおよびチャネルの不一致に起因するテキストに依存しないクロスデバイス発話者認証の性能を向上させること。
• 手作業による特徴工学的設計を不要とし、スペクトログラムとプロソディック特徴を同時に抽出・統合するエンドツーエンドの深層学習アーキテクチャを構築すること。
• 登録段階と検証段階を別々に行う必要をなくし、対比較損失を用いたシameseネットワークにより直接的なペアワイズ比較を可能とすること。

提案手法

• 時間的相関を保持するため、MFCCの代わりにメル周波数スペクトログラム係数（MFSC）を用いる。
• 基本周波数、ジッター、シャイマーを含むプロソディック特徴を抽出・表現するため、マルチレイヤーパーセプトロン（MLP）を導入する。
• CNNベースのスペクトログラム表現とMLPベースのプロソディック表現を、共有されたシameseアーキテクチャに統合する。
• 内部クラス距離を最小化し、外部クラス距離を最大化するため、マージン10のコントラスト損失を用いてエンドツーエンドのモデルを学習する。
• テスト段階では、複数の短い発話ペア間の平均ユークリッド距離として発話間類似度を計算し、平均および標準偏差フィルタを用いた外れ値除外処理を実施する。
• CNNネットワークとプロソディックネットワークのスコアレベル統合を実施し、チャネル非依存およびチャネル依存の両設定で評価する。

実験結果

リサーチクエスチョン

• RQ1 プロソディック特徴（ジッター、シャイマー、F0）を深層シameseネットワーク内でスペクトログラム特徴と統合することで、発話者認証性能が向上するか？
• RQ2 MFCCの代わりにメル周波数スペクトログラムを用いることで、クロスデバイス・テキストに依存しない発話者認証の性能が向上するか？
• RQ3 エンドツーエンドのシamese CNN-MLPアーキテクチャは、従来のi-vector/PLDAおよび最先端の深層学習ベースラインを上回る性能を発揮するか？
• RQ4 異なるデバイスタイプ（マイク、DVR、電話）におけるチャネル依存およびチャネル非依存設定下で、提案モデルの性能はどのように変化するか？

主な発見

• 提案された結合ネットワークは、FBIボイスコレクション2016データセットでEER13.11%を達成し、MFSCを用いたi-vector/PLDA（15.79% EER）およびMFCCを用いたi-vector/PLDA（15.26% EER）を顕著に上回った。
• AUCは0.9358を達成し、次に優れた手法（Nagraniら、2017年）の0.9215 AUCを上回った。
• チャネル依存設定では、マイク対マイクの認証で最高性能（0.0712 EER）を達成し、特定デバイスの特性に適応した能力が向上したことが示された。
• プロソディック特徴のみのネットワークは性能が低かった（16.73% EER）、これはプロソディック特徴のみでは不十分であることを確認したが、CNN特徴と統合することで性能が顕著に向上した。
• CNNとプロソディックネットワークのスコアレベル統合により15.78% EERを達成し、補完的特徴表現の統合が性能の強化に寄与することを示した。
• 低品質デバイス（例：電話対電話、13.16% EER）での性能が最も低下したが、これは実世界の法医学的応用においてデバイス固有の適応が重要であることを示唆した。