[論文レビュー] LIA system description for NIST SRE 2016

Mickaël Rouvier, Pierre-Michel Bousquet+4 more|arXiv (Cornell University)|Dec 15, 2016

Speech Recognition and Synthesis参考文献 4被引用数 5

ひとこと要約

本論文は、2016年NISTスピーカー認識評価のためのLIAシステムを提示する。このシステムはi-vector/PLDAフレームワークに基づき、MFCCやPLPといった多様なフロントエンド、i-vector抽出手法（UBM、DNN、2特徴ポストリアリティ）、およびデータシフト技術（IDVC、平均シフト）を組み合わせた8つのサブシステムを統合している。主な貢献は、これらのサブシステムをスコアレベルで統合することであり、中国語男性話者セットにおいて最小主コスト（minC）が0.224、EERが5.39%に達し、個々のサブシステムを上回る性能を達成した。

ABSTRACT

This paper describes the LIA speaker recognition system developed for the Speaker Recognition Evaluation (SRE) campaign. Eight sub-systems are developed, all based on a state-of-the-art approach: i-vector/PLDA which represents the mainstream technique in text-independent speaker recognition. These sub-systems differ: on the acoustic feature extraction front-end (MFCC, PLP), at the i-vector extraction stage (UBM, DNN or two-feats posteriors) and finally on the data-shifting (IDVC, mean-shifting). The submitted system is a fusion at the score-level of these eight sub-systems.

研究の動機と目的

• 言語およびチャネルの不一致が顕著な状況下でも、2016年NIST SRE評価に耐性のあるスピーカー認識システムを開発すること。
• 異なる音声フロントエンド（MFCC、PLP）、i-vector抽出手法（UBM、DNN、2特徴ポストリアリティ）、およびデータシフト技術（IDVC、平均シフト）がシステム性能に与える影響を調査すること。
• 複数のi-vectorサブシステムのスコアレベル統合により認識精度を向上させること。
• 多様な言語および性別条件において、主指標のminC主コストを最適化すること。

提案手法

• 音声特徴（MFCCおよびPLP）はKaldiツールキットを用いて抽出され、ケプストラム係数およびその1次および2次微分を含む60次元のベクトルが得られた。
• 音声活動検出（VAD）は、11フレームのコンSENSUS窓を用いたログエネルギー閾値法を用い、無音および低エネルギーセグメントを除去した。
• i-vectorは3つの方法で抽出された：UBMベースのGMM、4層（各1024ノード）のDNNベースのポストリアリティ、およびMFCCとPLPストリームを統合した2特徴ポストリアリティ。
• i-vector正規化はLW正規化（ホワイトニングおよび長さ正規化）を適用し、その後、PLDA後の正規化でクラス間およびクラス内共分散行列を対角化した。
• 言語不一致を軽減するために、2つのデータシフト技術（Inter-Dataset Variability Compensation（IDVC）および平均シフト）が適用された。
• PLDAスコアリングは非古典的PLDAモデルを用い、最終的なスコアは個々のシステムスコアの完全な正規化および統合後に生成された。

実験結果

リサーチクエスチョン

• RQ1 i-vector/PLDAフレームワークにおいて、異なる音声フロントエンド（MFCC対PLP）がスピーカー認識性能に与える影響は何か？
• RQ2 従来のUBMに比べ、DNNベースのポストリアリティまたは2特徴ポストリアリティを用いたi-vector抽出による性能向上はどの程度か？
• RQ3 IDVCおよび平均シフトというデータシフト技術は、言語不一致に起因する性能低下をどの程度軽減できるか？
• RQ4 複数のi-vectorサブシステムのスコアレベル統合は、全体の認識精度向上にどの程度効果的か？
• RQ5 minC主コストおよびEERを最大化するための、最適なフロントエンド、バックエンド、正規化手法の組み合わせは何か？

主な発見

• 統合システム（Fusion B）は中国語男性話者セットにおいてminC主コストが0.224、EERが5.39%を達成し、提出されたすべてのシステムの中で最高の性能を示した。
• MFCC、DNNベースi-vector、平均シフトを用いたサブシステム（System 6）は、セブアノ女性話者セットにおいてEERが6.75%と最低を記録し、非母語話者条件でも高い耐性を示した。
• 8つのサブシステムを統合したFusion Bは、中国語男性話者セットでEERを5.39%に、男女を等化したセットで16.90%にまで低下させ、あらゆる条件下で一貫した向上効果を示した。
• 2特徴i-vector手法（MFCC＋PLP）は、セブアノ男性話者セット（EER=22.77%）および中国語女性話者セット（EER=15.24%）で最高の性能を発揮し、耐性の向上を示した。
• PLDA共分散行列を対角化し、追加のLW正規化を適用する後処理正規化ステップが、一般化性能の向上とトレーニングデータとテストデータ間のズレの低減に寄与した。
• 全システムのCPU時間は1発話あたり3.66秒であり、最も計算コストの高いステップはi-vector統計計算（1.33秒）であった。これは、リアルタイム処理の実現可能性を示している。