[論文レビュー] Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification

Pradeep Rangan, Sundeep Teki+1 more|arXiv (Cornell University)|Oct 14, 2020

Speech and Audio Processing被引用数 14

ひとこと要約

本論文は、インド多言語スピーチにおけるコードスイッチドスプoken言語識別（LID）のための言語マスクベースのスペクトル拡張手法を提案する。時間的マスクは、トランスクリプト内の言語遷移ポイントに基づいて戦略的に配置される。この手法により、3つの言語ペア（グジャラート語-英語、タミル語-英語、テルグ語-英語）において、発話レベルおよびフレームレベルの両タスクでマイクロソフトのベースラインを上回り、LIDの正確性が3–5%向上し、ノイズ耐性と言語識別能が向上する。

ABSTRACT

Spoken language Identification (LID) systems are needed to identify the language(s) present in a given audio sample, and typically could be the first step in many speech processing related tasks such as automatic speech recognition (ASR). Automatic identification of the languages present in a speech signal is not only scientifically interesting, but also of practical importance in a multilingual country such as India. In many of the Indian cities, when people interact with each other, as many as three languages may get mixed. These may include the official language of that province, Hindi and English (at times the languages of the neighboring provinces may also get mixed during these interactions). This makes the spoken LID task extremely challenging in Indian context. While quite a few LID systems in the context of Indian languages have been implemented, most such systems have used small scale speech data collected internally within an organization. In the current work, we perform spoken LID on three Indian languages (Gujarati, Telugu, and Tamil) code-mixed with English. This task was organized by the Microsoft research team as a spoken LID challenge. In our work, we modify the usual spectral augmentation approach and propose a language mask that discriminates the language ID pairs, which leads to a noise robust spoken LID system. The proposed method gives a relative improvement of approximately 3-5% in the LID accuracy over a baseline system proposed by Microsoft on the three language pairs for two shared tasks suggested in the challenge.

研究の動機と目的

• コードスイッチドインド多言語スピーチにおけるスプoken言語識別（LID）の課題に対処すること。ここには、グルジャラット語、テルグ語、タミル語などの複数の言語が英語と混合する状況が含まれる。
• コードスイッチドスピーチのパターンに適応したスペクトル拡張技術を活用することで、LIDシステムのノイズ耐性と言語識別能を向上させること。
• トランスクリプトレベルの言語遷移情報を利用して、スペクトルマスキングを誘導する言語マスクを構築することにより、モデルの一般化能力を向上させること。
• 単一言語対比コードスイッチド発話分類およびフレームレベル言語識別を含む共有タスクにおいて、既存のベースラインシステムを上回ること。

提案手法

• トランスクリプト付き音声データから言語マスクが生成され、言語遷移（例：英語対ネイティブ言語セグメント）の位置を特定し、スペクトルマスキングを誘導する。
• スペクトル拡張は、ランダムな時間的マスキングをトランスクリプト内の言語境界に基づく位置に依存するマスキングに置き換えることで変更される。
• モデルは、クリーンおよびマスク処理されたスペクトログラムを入力として受け取り、エンドツーエンドのシーケンスモデリングを実行するため、CNN-BiLSTMエンコーダと接続主義的時系列分類（CTC）損失を使用する。
• 周波数マスキングと時間歪みは、標準的なスペクトル拡張から引き継がれるが、時間的マスキングは言語遷移ポイントに条件付けられる。
• モデルはクリーンおよび拡張されたスペクトログラムの両方で学習させることで、コードスイッチドパターンへの耐性と一般化能力を向上させる。
• 性能評価は、2つの共有タスク（発話レベル分類およびフレームレベル言語識別）において、正確性と等誤差率（EER）を用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 言語遷移に注意を払ったスペクトル拡張は、コードスイッチドインド多言語スピーチにおけるスプoken LID性能を向上させることができるか？
• RQ2 トランスクリプトから得られる言語マスクをスペクトル拡張に使用することで、単一言語とコードスイッチド発話の間のモデル識別能にどのような影響を与えるか？
• RQ3 本手法は、ランダムマスキングと比較して、ノイズ耐性およびフレームレベル言語識別正確性をどの程度向上させるか？
• RQ4 言語固有のマスキング統合により、グルジャラット語-英語、タミル語-英語、テルグ語-英語の多様なコードスイッチングパターンへの一般化能力が向上するか？

主な発見

• 提案手法の言語マスクベースのスペクトル拡張は、3つの言語ペア（グルジャラット語-英語、タミル語-英語、テルグ語-英語）において、マイクロソフトのベースラインを上回り、LID正確性が3–5%相対的に向上した。
• タスクA（発話レベル分類）では、グルジャラット語-英語で73.01%（ベースライン71.9%）、タミル語-英語で79.02%（ベースライン71.2%）、テルグ語-英語で78.65%（ベースライン74.0%）の正確性を達成した。
• グリーディデコードを用いたタスクB（フレームレベル識別）では、グルジャラット語-英語で75.72%の正確性と7.53%のEERを達成し、ベースラインの66.79%と9.71%EERを上回った。
• ビームサーチデコード（ビーム幅15）を用いた場合、グルジャラット語-英語で76.64%の正確性と7.36%のEERを達成し、ベースラインの72.53%と8.54%EERを上回った。
• 性能向上は全言語で一貫しており、特にタミル語-英語で最大の相対的向上が観察された（一部の設定で正確性が最大7.8%の絶対的向上）。
• 結果から、言語に配慮したマスキングが、微細な言語遷移の検出能力を向上させ、単一言語とコードスイッチドスピーチの識別能を向上させることを示している。