[論文レビュー] Convolutional Neural Networks and Language Embeddings for End-to-End Dialect Recognition

Suwon Shon, Ahmed Ali+1 more|arXiv (Cornell University)|Mar 12, 2018

Speech Recognition and Synthesis参考文献 11被引用数 10

ひとこと要約

本稿では、音声特徴（MFCC、FBANK、スペクトログラム）と、言語的特徴から言語埋め込みを学ぶためのシames型ニューラルネットワークを用いた、アラビア語方言識別を目的としたエンドツーエンドの畳み込みニューラルネットワーク（CNN）システムを提案する。最良の特徴融合システムは、MGB-3データセットで78%の精度を達成し、データ拡張と言語埋め込みにより、ロバスト性と性能が顕著に向上した。

ABSTRACT

Dialect identification (DID) is a special case of general language identification (LID), but a more challenging problem due to the linguistic similarity between dialects. In this paper, we propose an end-to-end DID system and a Siamese neural network to extract language embeddings. We use both acoustic and linguistic features for the DID task on the Arabic dialectal speech dataset: Multi-Genre Broadcast 3 (MGB-3). The end-to-end DID system was trained using three kinds of acoustic features: Mel-Frequency Cepstral Coefficients (MFCCs), log Mel-scale Filter Bank energies (FBANK) and spectrogram energies. We also investigated a dataset augmentation approach to achieve robust performance with limited data resources. Our linguistic feature research focused on learning similarities and dissimilarities between dialects using the Siamese network, so that we can reduce feature dimensionality as well as improve DID performance. The best system using a single feature set achieves 73% accuracy, while a fusion system using multiple features yields 78% on the MGB-3 dialect test set consisting of 5 dialects. The experimental results indicate that FBANK features achieve slightly better results than MFCCs. Dataset augmentation via speed perturbation appears to add significant robustness to the system. Although the Siamese network with language embeddings did not achieve as good a result as the end-to-end DID system, the two approaches had good synergy when combined together in a fused system.

研究の動機と目的

• アラビア語方言間の言語的類似性が極めて高いことから、アラビア語方言識別（DID）は困難であるため、その課題に対処すること。
• 従来のi-vector手法よりも性能を向上させるために、音声特徴を用いたエンドツーエンドのディーブラーニングシステムをDIDに開発すること。
• シアンス型ネットワークを用いて言語埋め込みを学習し、言語的特徴の次元削減と方言識別の向上を図ること。
• 限られた学習データにおけるロバスト性を向上させるために、データ拡張技術（例：速度変更）を調査すること。
• 音声特徴と言語的特徴を統合することで、単一モダリティのシステムよりも優れた性能を達成すること。

提案手法

• MFCC、対数メルスケールフィルタバンクエネルギー（FBANK）、スペクトログラムエネルギーという3種類の音声特徴を用いて、CNNベースのエンドツーエンドDIDシステムを訓練する。
• ランダムな発話セグメンテーションとボリューム・速度の摂動を適用することで、データ拡張を実施し、学習データの多様性とロバスト性を向上させる。
• コサイン類似度損失を用いたシアンス型ニューラルネットワークを用い、語、文字、発音レベルの言語的特徴から、方言固有の言語埋め込みを学習する。
• 語彙特徴（例：41,657次元の文字特徴）のような高次元の言語的特徴を、シアンス型ネットワークを用いて200次元の埋め込みに圧縮する。
• 複数のシステム（エンドツーエンド音声モデルと言語埋め込みシステム）の結果を重み付き平均を用いて統合し、性能を向上させる。
• 5方言と73.7時間のトランスクリプト音声を含むMGB-3アラビア語方言コーパスを用いて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで、エンドツーエンドのCNNベースのシステムが、従来のi-vector手法を上回る性能を発揮できるか？
• RQ2 エンドツーエンドDIDにおける、異なる音声特徴表現（MFCC、FBANK、スペクトログラム）の有効性は何か？
• RQ3 速度およびボリュームの摂動によるデータ拡張は、リソースが限られたDID環境における汎化性能と精度を向上させるか？
• RQ4 シアンス型ネットワークは、言語的特徴から意味的で有用な言語埋め込みを学習でき、DID性能の向上と次元削減を実現できるか？
• RQ5 音声特徴と言語的特徴に基づくシステムを統合することで、ハイブリッドDIDフレームワークにおいて、どの程度の性能向上が得られるか？

主な発見

• FBANK特徴を用いた最良の単一システムは、MGB-3テストセットで73%の精度を達成し、MFCCおよびスペクトログラムベースラインを上回った。
• 複数の音声特徴と言語的特徴を統合した融合システムは78%の精度を達成し、以前の最先端技術を顕著に上回った。
• 速度およびボリュームの摂動によるデータ拡張は、原始的な特徴（例：スペクトログラム）に対して最も効果的で、精度向上が22%に達した。これは、精錬されていない特徴に対してより大きな恩恵があることを示唆している。
• 言語埋め込みにより、言語的特徴の次元を41,657から200に圧縮したが、EERは約15%改善された。これは、効果的な特徴圧縮を示している。
• シアンス型ネットワークを用いた言語埋め込みシステムは、全指標で平均17%の性能向上を達成した。特に語ベースの特徴が最も優れた結果をもたらした。
• 音声特徴と言語埋め込みシステムの融合により、相乗効果が得られ、複数の音声システムの融合よりも優れた性能を示した。これは、両モダリティが相補的な強みを有していることを示している。