[論文レビュー] LSTM-TDNN with convolutional front-end for Dialect Identification in the 2019 Multi-Genre Broadcast Challenge

Xiaoxiao Miao, Ian McLoughlin|arXiv (Cornell University)|Dec 19, 2019

Speech Recognition and Synthesis参考文献 12被引用数 4

ひとこと要約

本稿では、MGB-5チャレンジにおける低リソースなアラビア諸語方言の識別を目的として、畳み込みニューラルネットワーク（CNN）のフロントエンドと、長短記憶（LSTM）のバックエンドを組み合わせたCLSTMアーキテクチャを提案する。時間スケール変更（TSM）を用いたデータ拡張と従来のデータ拡張（TTDA）を活用することで、標準的なDNN x-vectorシステムを上回り、時間的依存関係のモデリングとデータのバランス改善により、2位の成績を達成した。

ABSTRACT

This paper presents a novel Dialect Identification (DID) system developed for the Fifth Edition of the Multi-Genre Broadcast challenge, the task of Fine-grained Arabic Dialect Identification (MGB-5 ADI Challenge). The system improves upon traditional DNN x-vector performance by employing a Convolutional and Long Short Term Memory-Recurrent (CLSTM) architecture to combine the benefits of a convolutional neural network front-end for feature extraction and a back-end recurrent neural to capture longer temporal dependencies. Furthermore we investigate intensive augmentation of one low resource dialect in the highly unbalanced training set using time-scale modification (TSM). This converts an utterance to several time-stretched or time-compressed versions, subsequently used to train the CLSTM system without using any other corpus. In this paper, we also investigate speech augmentation using MUSAN and the RIR datasets to increase the quantity and diversity of the existing training data in the normal way. Results show firstly that the CLSTM architecture outperforms a traditional DNN x-vector implementation. Secondly, adopting TSM-based speed perturbation yields a small performance improvement for the unbalanced data, finally that traditional data augmentation techniques yield further benefit, in line with evidence from related speaker and language recognition tasks. Our system achieved 2nd place ranking out of 15 entries in the MGB-5 ADI challenge, presented at ASRU 2019.

研究の動機と目的

• 極めて不均衡で低リソースな学習データにおける、細分化されたアラビア諸語方言識別（DID）の課題に対処すること。
• 時間的およびスペクトル的特徴をよりよくモデリングできるように、CNN-LSTMハイブリッドアーキテクチャを統合することで、従来のDNN x-vectorシステムを改善すること。
• 外部コーパスを用いないで、ヨルダン語（JOR）のような低リソース方言におけるデータの不均衡を緩和するために、時間スケール変更（TSM）を適用すること。
• TSMおよび従来のトレーニングデータ拡張（TTDA）の有効性を、汎化性能の向上と誤差率の低減の観点から評価すること。
• 厳密なデータ使用制約のもとで、MGB-5 ADIチャレンジにおいて最先端の性能を達成すること。

提案手法

• CLSTMアーキテクチャを採用：CNNフロントエンドが音声フレームから局所的で文脈に配慮した特徴を抽出し、その後にLSTM層が長期的な時間的依存関係をモデル化する。
• RTISIアルゴリズムを用いた時間スケール変更（TSM）により、低リソース方言の発話に対して時間拡張または圧縮されたバージョンを生成し、学習データの多様性を向上させる。
• TSMを最も代表が少ない方言（JOR）に限定して適用し、外部データを一切使用せずに学習セットのバランスを取ることで、チャレンジのルールに準拠する。
• TSMとMUSANノイズおよびRIR混浊データセットを用いた従来のデータ拡張（TTDA）を組み合わせ、さらにデータの多様性とモデルのロバスト性を向上させる。
• エンドツーエンドの誤差逆伝播を用いてCLSTMモデルを訓練し、セグメントレベル分類を最適化するため、交差エントロピー損失関数を用いる。
• 最終分類の前に、フレームレベル出力からの統計的プーリング（平均および標準偏差）を用いて、固定次元の埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 CNN-LSTMハイブリッドアーキテクチャ（CLSTM）は、標準的なDNN x-vectorシステムを上回り、細分化されたアラビア諸語方言識別において優れた性能を示せるか？
• RQ2 外部データを使用できない状況下で、時間スケール変更（TSM）は低リソース方言の性能向上にどの程度寄与するか？
• RQ3 ノイズおよび混浊を用いた従来のデータ拡張（TTDA）は、全方言にわたりDID性能を向上させるのにどの程度有効か？
• RQ4 TSMとTTDAの組み合わせは、モデルの汎化性能および誤差低減に相乗効果をもたらすか？
• RQ5 類似した方言（例：レバノン語）間の誤分類パターンは、モデルが微細な音響的および音声学的差異を捉えられる能力をどのように反映するか？

主な発見

• CLSTMアーキテクチャは、テストセットで93.06%の精度と2.09%のEERを達成し、ベースラインのDNN x-vectorシステムを上回った。
• 低リソースのヨルダン語（JOR）にTSMベースの拡張を適用したことで、その小さなサイズにもかかわらず80.17%の精度を達成した。
• TSMとTTDAを組み合わせた場合が、全体のテストセット性能が最も高く、93.06%の精度と2.09%のEERを記録し、個別の手法をわずかに上回った。
• レバノン語（LEB）は96.97%の最高精度を記録し、モデルの識別性能が代表が豊富な方言に対して優れていることを示した。
• 誤分類が最も高かったのは、レバノン語に近いレバノン諸語（例：JOR, PAL, SYR, LEB）の間で、共通する音声学的および語彙的特徴が誤分類のリスクを高めていると考えられる。
• レバノン諸語同士の類似性が高かっただけでなく、一部のペアでは誤分類が減少しており、これはCLSTMアーキテクチャが微細な音響的および発音的差異を捉えられていた可能性を示唆している。