[論文レビュー] KU-ISPL Speaker Recognition Systems under Language mismatch condition for NIST 2016 Speaker Recognition Evaluation

Suwon Shon, Hanseok Ko|arXiv (Cornell University)|Feb 3, 2017

Speech Recognition and Synthesis参考文献 5被引用数 4

ひとこと要約

本論文は、NIST SRE 2016 評価におけるKU-ISPLの話者認識システムを提示し、英語で訓練されたモデルと非英語のテストデータ（タガログ語、広東語）との間の言語不一致を軽減することに焦点を当てている。システムは4つのi-vector抽出手法を採用し、無教師言語クラスタリング、言語間可変性補償、性別／言語依存スコア正規化といった高度なバックエンド技術を組み合わせ、困難なクロスリンガル条件下でも競争力ある性能を達成した。

ABSTRACT

Korea University Intelligent Signal Processing Lab. (KU-ISPL) developed speaker recognition system for SRE16 fixed training condition. Data for evaluation trials are collected from outside North America, spoken in Tagalog and Cantonese while training data only is spoken English. Thus, main issue for SRE16 is compensating the discrepancy between different languages. As development dataset which is spoken in Cebuano and Mandarin, we could prepare the evaluation trials through preliminary experiments to compensate the language mismatched condition. Our team developed 4 different approaches to extract i-vectors and applied state-of-the-art techniques as backend. To compensate language mismatch, we investigated and endeavored unique method such as unsupervised language clustering, inter language variability compensation and gender/language dependent score normalization.

研究の動機と目的

• 訓練データが英語で、テストデータがタガログ語および広東語である場合の話者認識における言語不一致を解消すること。
• 無教師および適応的技術を用いて、多様な言語にわたるシステムの頑健性を向上させること。
• クロスリンガル一般化に特化した、複数のi-vector抽出およびバックエンド処理戦略の開発と評価すること。
• 言語および性別差に特化した効果的なスコア正規化および可変性補償手法を調査すること。
• 非ネイティブ言語のテスト言語を想定した固定訓練条件のもとで、NIST SRE 2016 評価において高い性能を達成すること。

提案手法

• KU-ISPLシステムフレームワークを用いて、4つの異なるi-vector抽出アプローチを開発および評価した。
• 翻訳なしで言語アイデンティティに基づいて音声セグメントをグループ化するため、無教師言語クラスタリングを適用した。
• ソース言語とターゲット言語の分布の不一致を低減するために、言語間可変性補償を導入した。
• 性別および言語に依存するスコア正規化を適用し、異なるデモグラフィックおよび言語的グループ間のスコアを補正した。
• 意思決定境界の分離性とシステム信頼性を向上させるために、最先端のバックエンド技術を統合した。
• 対象非英語評価言語を模擬するため、セブアノ語および中国語（普通話）データを用いた予備実験を実施し、最適化を行った。

実験結果

リサーチクエスチョン

• RQ1 テスト言語が訓練言語と異なる場合、話者認識システムはどのようにして効果的に適応できるか？
• RQ2 無教師言語クラスタリングは、クロスリンガルi-vector性能の向上にどのような役割を果たすか？
• RQ3 言語間可変性補償は、言語不一致の影響をどれほど効果的に低減できるか？
• RQ4 性別および言語に特化したスコア正規化は、多様なテスト条件においてシステムの頑健性を向上させられるか？
• RQ5 i-vector抽出およびバックエンド技術のどの組み合わせが、言語不一致下で最高の性能を発揮するか？

主な発見

• 訓練データが英語、テストデータがタガログ語および広東語という顕著な言語不一致がある中で、本システムはNIST SRE 2016 評価において競争力ある性能を達成した。
• 翻訳なしの状態でも、無教師言語クラスタリングが言語固有のパターンを効果的に同定できた。
• 言語間可変性補償により、言語間差による性能低下が顕著に低減された。
• 性別および言語に依存するスコア正規化により、システムのキャリブレーションが向上し、非英語試行における誤り率が低減された。
• 複数の適応技術の統合により、多様な言語的条件下でもより頑健で一般化可能な話者認識システムが実現された。