[論文レビュー] Spoken Language Identification using ConvNets

Sarthak, Shikhar Shukla+1 more|arXiv (Cornell University)|Oct 9, 2019

Speech Recognition and Synthesis参考文献 24被引用数 11

ひとこと要約

本稿では、音声波形を直接入力として使用する1D-ConvNetと、log-Melスペクトログ램を入力とするアテンション付き双向性GRUを備えた2D-ConvNetを提案する。後者は、mixupデータ拡張を用いて6言語（英語、フランス語、ドイツ語、スペイン語、ロシア語、イタリア語）で95.4%の精度を達成し、VoxForgeデータセットにおいて音声および画像分野で最先端の性能を示した。

ABSTRACT

Language Identification (LI) is an important first step in several speech processing systems. With a growing number of voice-based assistants, speech LI has emerged as a widely researched field. To approach the problem of identifying languages, we can either adopt an implicit approach where only the speech for a language is present or an explicit one where text is available with its corresponding transcript. This paper focuses on an implicit approach due to the absence of transcriptive data. This paper benchmarks existing models and proposes a new attention based model for language identification which uses log-Mel spectrogram images as input. We also present the effectiveness of raw waveforms as features to neural network models for LI tasks. For training and evaluation of models, we classified six languages (English, French, German, Spanish, Russian and Italian) with an accuracy of 95.4% and four languages (English, French, German, Spanish) with an accuracy of 96.3% obtained from the VoxForge dataset. This approach can further be scaled to incorporate more languages.

研究の動機と目的

• 音声波形を直接深層学習モデルの入力として使用し、log-Melスペクトログラム抽出の計算コストを回避するための有効性を評価すること。
• 既存モデルのベンチマークを実施し、性能向上を図るための新しいアテンションベースの2D-ConvNetと双向性GRUを提案すること。
• データ拡張技術（例：mixup）とアテンション機構の有効性を、リソースが限られた音声言語識別タスクにおけるモデルの汎化性能と精度向上の観点から調査すること。
• インド・ヨーロッパ語族に属する音素の重複を示す言語群（4言語および6言語）におけるモデル性能の比較を行うこと。
• トランスクリプションの教師なし学習を前提とした、生の音声からのエンドツーエンド学習の可能性を検討すること。

提案手法

• 1D-ConvNetは、周波数変換を施さずに、時間的畳み込み層を用いて判別可能な特徴を抽出する。
• 2D-ConvNetは、log-Melスペクトログラム画像を入力とし、空間的およびチャネルアテンション機構を用いて顕著な周波数および時間領域特徴を強調する。
• 2D-ConvNetの後続に、音声系列における長距離時系列依存性をモデル化するための双向性GRUをスタックする。
• 両モデルにmixupデータ拡張を適用し、入力とラベルのペアを凸結合として生成することで、モデルのロバストネス向上と過学習の低減を図る。
• 両アーキテクチャの検証精度最適化のため、学習率、フィルターサイズ、ネットワーク深さのハイパーパrameterチューニングを実施する。
• モデルの汎化性能の評価および音声的に類似した言語における誤分類パターンの分析に、混同行列とk分割交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 log-Melスペクトログラムの前処理を省略した生の音声波形が、エンドツーエンドの言語識別タスクにおいて有効な入力特徴として機能するか？
• RQ2 mixupデータ拡張は、VoxForgeデータセットにおけるConvNetベースの言語識別モデルの汎化性能と精度をどのように向上させるか？
• RQ3 アテンション機構と双向性RNNは、言語識別タスクにおける2D-ConvNetアーキテクチャの性能をどの程度向上させるか？
• RQ4 音素の重複を示す言語群（例：Romance語族、Germanic語族、Slavic語族）におけるモデル性能と誤分類パターンは、どのように変化するか？
• RQ5 精度と計算効率の観点から、生波形を入力とする1D-ConvNetとlog-Melスペクトログラムを入力とする2D-ConvNetの相対的有効性は何か？

主な発見

• 生の音声波形を用いた1D-ConvNetは、6言語のk分割交差検証において平均93.7%の精度（標準偏差0.3%）を達成した。
• アテンションと双向性GRUを備えた2D-ConvNetは、mixupなしで95.0%、mixupありで95.4%の精度を達成し、先行研究を大きく上回った。
• mixup拡張は一貫して汎化性能を向上させ、2D-ConvNetの6言語における精度を94.3%から95.4%に向上させた。
• 同じ言語系統（例：Romance語族：フランス語、スペイン語、イタリア語）に属する言語間で誤認識が顕著に見られ、音声的類似性が主な課題であることが示された。
• フランス語とロシア語間でも誤認識が発生したが、これは「automate」と「ABTOMaT」といった発音が類似する語の借用語が原因であった。
• mixupを用いた2D-ConvNetは、4言語（英語、フランス語、ドイツ語、スペイン語）で96.3%の精度を達成し、このサブセットにおいても従来の最先端モデルを上回った。