[論文レビュー] Language Identification with Deep Bottleneck Features

Zhanyu Ma, Hong Yu|arXiv (Cornell University)|Sep 18, 2018

Natural Language Processing Techniques参考文献 61被引用数 3

ひとこと要約

本稿では、深層ボトルネック（DNN-BN）特徴量とLSTMネットワークを用いたエンドツーエンドの音声言語識別（SLD）システムを提案する。短い発話に対して、位相ボコーダーに基づく時間スケール変更（TSM）を用いて入力長を拡張することで性能を向上させる。1秒および3秒の発話を元に、オリジナル、高速化、低速化のバージョンを組み合わせることで、短い入力において最大50%の精度向上を達成し、AP17-OLRテストセットではC_avgが0.006、EERが0.08%にまで低下した。

ABSTRACT

In this paper we proposed an end-to-end short utterances speech language identification(SLD) approach based on a Long Short Term Memory (LSTM) neural network which is special suitable for SLD application in intelligent vehicles. Features used for LSTM learning are generated by a transfer learning method. Bottle-neck features of a deep neural network (DNN) which are trained for mandarin acoustic-phonetic classification are used for LSTM training. In order to improve the SLD accuracy of short utterances a phase vocoder based time-scale modification(TSM) method is used to reduce and increase speech rated of the test utterance. By splicing the normal, speech rate reduced and increased utterances, we can extend length of test utterances so as to improved improved the performance of the SLD system. The experimental results on AP17-OLR database shows that the proposed methods can improve the performance of SLD, especially on short utterance with 1s and 3s durations.

研究の動機と目的

• 非常に短い発話における音声言語識別（SLD）の低精度という課題に取り組むこと。特に、インテリジェントビークル応用を想定する。
• 従来のモデルが統計的情報が不足するため失敗する短時間入力（1秒および3秒）における性能を向上させること。
• インテリジェントビークルにおけるリアルタイム配備に適した、軽量で高速応答のSLDシステムを開発すること。
• 再訓練を伴わずに、トランスファー学習と信号前処理を活用して特徴表現とモデルの頑健性を向上させること。

提案手法

• 中国語の発音分類のための事前学習済みDNNを用いて、発音の判別情報を含む深層ボトルネック（DNN-BN）特徴量を抽出する。
• 位相ボコーダーに基づく時間スケール変更（TSM）を適用し、話者の速度（α = 0.8および1.2）を変更した複数のテスト発話を生成する。
• オリジナル、高速化、低速化の発話を連結することで、入力長を延長し、短い入力における時間的文脈を豊かにする。
• 長さ拡張された発話から得られる100フレーム分のPLP+ピッチ特徴量を、2層のLSTM分類器に供給する。
• 可変長入力を処理するため、固定サイズのブロックにパックしたフレームレベルのDNN-BN特徴量を繰り返しパディングで埋める。
• 発音分類器のDNN-BN特徴量を用いてエンドツーエンドのSLDシステムを学習し、その後、言語予測のためのLSTMベース分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 TSMに基づく入力長の拡張は、非常に短い発話（1秒および3秒）におけるSLD性能を向上させることができるか？
• RQ2 発音分類器から得たDNN-BN特徴量は、生の音声特徴量と比較してSLD精度を向上させるか？
• RQ3 オリジナル、高速化、低速化の発話を組み合わせた場合、SLD性能にどのような影響を与えるか？
• RQ4 軽量でエンドツーエンドのLSTMベースのSLDシステムは、最小限のモデルサイズと高速な推論で高い精度を達成できるか？

主な発見

• 提案されたTSM-DNN-BN-LSTMモデルは、全テストセットにおいてC_avgを0.006、EERを0.08%まで低下させ、i-vectorおよびLSTMベースラインを上回った。
• 1秒発話では、EERをi-vectorの17.24%から6.76%まで低下させ、相対的に60.6%の改善を達成した。
• 3秒発話では、EERをi-vectorの8.67%から2.62%まで低下させ、相対的に69.5%の改善を達成した。
• TSM手法により、再訓練なしで長発話および中発話では約50%、非常に短い発話では約30%の性能向上が達成された。
• オリジナル、高速化、低速化の発話をそれぞれ1つずつ連結すると最良の性能が得られ、α = 0.8および1.2が最適であった。
• モデルはディスク上約20MBの領域を占め、インテリジェントビークルのようなリソース制限のある環境におけるリアルタイム配備に適している。