[論文レビュー] Exploring the Encoding Layer and Loss Function in End-to-End Speaker and Language Recognition System

Weicheng Cai, Jinkun Chen+1 more|arXiv (Cornell University)|Apr 14, 2018

Speech Recognition and Synthesis参考文献 16被引用数 37

ひとこと要約

この論文は、高度な符号化層と判別的損失関数を用いて性能を向上させる統合的エンドツーエンドシステムを提案する。学習可能ディクショナリ符号化（LDE）層と自己注意プーリング（SAP）を導入し、頑健な発話レベル表現を生成する。同時に、センター損失とアングルソフトマックス損失により、判別性の高い発話埋め込みが向上し、NIST LRE 07で最大63%の誤差低減と、発話認識で20%の誤差低減を達成した。

ABSTRACT

In this paper, we explore the encoding/pooling layer and loss function in the end-to-end speaker and language recognition system. First, a unified and interpretable end-to-end system for both speaker and language recognition is developed. It accepts variable-length input and produces an utterance level result. In the end-to-end system, the encoding layer plays a role in aggregating the variable-length input sequence into an utterance level representation. Besides the basic temporal average pooling, we introduce a self-attentive pooling layer and a learnable dictionary encoding layer to get the utterance level representation. In terms of loss function for open-set speaker verification, to get more discriminative speaker embedding, center loss and angular softmax loss is introduced in the end-to-end system. Experimental results on Voxceleb and NIST LRE 07 datasets show that the performance of end-to-end learning system could be significantly improved by the proposed encoding layer and loss function.

研究の動機と目的

• 可変長音声入力を処理できる統合的かつ解釈可能なエンドツーエンドシステムを、発話および言語認識に用いる。
• 時間平均プーリング、自己注意プーリング（SAP）、学習可能ディクショナリ符号化（LDE）といった異なる符号化層が発話レベル表現学習に与える影響を調査する。
• センター損失とアングルソフトマックス（A-Softmax）を含む判別的損失関数の有効性を、オープンセット検証における発話埋め込みの質の向上に評価する。
• 標準ベンチマーク（VoxCeleb および NIST LRE 07）におけるエンドツーエンドシステムと従来のi-vectorベースラインとの性能を比較する。

提案手法

• 生の音声からフレームレベル特徴を抽出するフロントエンドの深層CNN（ResNet-34）に続き、発話レベル表現を生成するための学習可能符号化層を適用する。
• 3つの符号化層を評価：時間平均プーリング（TAP）、自己注意プーリング（SAP）、学習可能ディクショナリ符号化（LDE）、LDEは64個のディクショナリコンポーネントを用いる。
• 判別的損失関数（センター損失（λ=0.001）、アングルソフトマックス（m=4））をエンドツーエンド学習に統合し、埋め込みの判別性を向上させる。
• 最適化には勾配降下法（モーメンタム0.9、重み減衰1e-4）を用い、損失の平準化領域で学習率を段階的に減衰させる。
• オープンセット検証のため、128次元の発話埋め込みを準最終層から抽出し、コサイン類似度またはPLDAを用いてスコアリングする。
• ミニバッチあたり300～800フレームにランダムクロッピングまたは延長を施すデータ拡張により、可変長入力への耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 異なる符号化層（TAP、SAP、LDE）は、エンドツーエンド発話および言語認識システムの性能にどのように影響するか？
• RQ2 センター損失とアングルソフトマックス損失を統合することで、オープンセット検証における発話埋め込みの判別性は向上するか？
• RQ3 VoxCeleb や NIST LRE 07 といった標準データセットにおいて、エンドツーエンドシステムの性能は従来のi-vectorベースラインと比べてどうか？
• RQ4 PLDA を類似度指標として用いることで、特に判別的損失が適用されたエンドツーエンドシステムにおいて一貫した性能向上が得られるか？

主な発見

• CNN-LDEシステムは、NIST LRE 07の3秒タスクでTAP-Softmaxベースライン比で25%の相対的誤差低減を達成した。
• NIST LRE 07の10秒および30秒タスクでは、それぞれ45%および63%の相対的誤差低減を達成した。
• VoxCeleb発話識別タスクでは、LDEベースのシステムがTAPベースライン比で12%の誤差低減を達成した。
• LDE-A-Softmaxシステムは発話認識で最良の性能を示し、C_detが0.441、EERが4.56%であった。これはTAP-Softmaxベースライン比で20%の相対的誤差低減に相当する。
• PLDAは従来のi-vectorシステムでは顕著な性能向上をもたらしたが、判別的損失を用いて学習されたエンドツーエンドシステムでは、ほとんど向上が得られず、場合によっては性能が低下した。
• LDE層は、すべての評価タスクにおいてTAPおよびSAP層を上回り、頑健な発話レベル表現の学習に有効であることが示された。