[論文レビュー] ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation

Holy Lovenia, Samuel Cahyawijaya+12 more|arXiv (Cornell University)|Dec 12, 2021

Speech and dialogue systems被引用数 12

ひとこと要約

本稿では、香港の対話的状況における複数回の会話から収集された、10.62時間にわたる自然な中国語-英語コードスイッチング音声コーパスであるASCENDを紹介する。23名のバイリンガル話者が多様な方言と熟達度を反映して参加しており、事前学習済みのwav2vec 2.0モデルをASCENDで微調整することで、最高で22.69%の文字誤り率（CER）および27.05%の混合誤り率（MER）を達成した。中国語で事前学習されたモデルが英語およびマルチリンガルモデルを上回ったのは、語彙の整合性と言語分布の一致が良好だったためである。

ABSTRACT

Code-switching is a speech phenomenon occurring when a speaker switches language during a conversation. Despite the spontaneous nature of code-switching in conversational spoken language, most existing works collect code-switching data from read speech instead of spontaneous speech. ASCEND (A Spontaneous Chinese-English Dataset) is a high-quality Mandarin Chinese-English code-switching corpus built on spontaneous multi-turn conversational dialogue sources collected in Hong Kong. We report ASCEND's design and procedure for collecting the speech data, including annotations. ASCEND consists of 10.62 hours of clean speech, collected from 23 bilingual speakers of Chinese and English. Furthermore, we conduct baseline experiments using pre-trained wav2vec 2.0 models, achieving a best performance of 22.69\% character error rate and 27.05% mixed error rate.

研究の動機と目的

• 低リソース環境における中国語-英語バイリンガル音声の高品質で自然なコードスイッチング音声データの不足に応えること。
• 香港における現実のコードスイッチングパターンを反映した、多様でバランスの取れた、代表的な対話的音声コーパスを構築すること。
• 事前学習モデルを用いたコードスイッチド音声認識（ASR）の強力なベースライン性能を確立すること。
• 事前学習言語（中国語、英語、マルチリンガル）の選択がコードスイッチドASR性能に与える影響を評価すること。

提案手法

• データ収集は、香港・台湾・中国本土の23名のバイリンガル話者を対象に、26回の自然な会話セッションを実施し、多様なトピックと熟達度をカバーした。
• コーパスは、性別がバランスの取れた8:1:1の割合で訓練・検証・テストセットに分割され、文間および文内コードスイッチングがアノテートされた。
• 中国語、英語、マルチリンガルの事前学習済みwav2vec 2.0モデルを、1枚のGPU上でCTC損失関数を用いてAdam最適化により微調整した。
• トレーニング中、音声データに対して時間領域および周波数領域のマスキング処理が施されたが、タイムウォーピングは適用されなかった。
• モデル評価には文字誤り率（CER）と混合誤り率（MER）を用い、MERは中国語部のCERと英語部のWER（語誤り率）の合成で算出された。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みwav2vec 2.0モデルが自然な中国語-英語コードスイッチングコーパスで微調整された場合、性能はどのように変化するか？
• RQ2 事前学習言語（中国語対比英語対比マルチリンガル）がコードスイッチドASR性能に与える影響は何か？
• RQ3 事前学習モデルとコーパスとの間の言語的分布および語彙の重複度が、ASR精度に与える影響は何か？
• RQ4 自然音声データを用いることで、リーディング音声ベースラインと比較して、コードスイッチドASR性能がどの程度向上するか？

主な発見

• 中国語で事前学習されたwav2vec 2.0モデルがテストセットで最高の性能を示し、CERは22.69%、MERは27.05%を記録した。英語およびマルチリンガルモデルを上回った。
• 中国語で事前学習されたモデルは英語モデルよりも収束が速く、マルチリンガルモデルより初期段階での収束が遅いものの、最終的な性能は優れていた。
• マルチリンガルで事前学習されたモデルは、早期に性能のピークに達し、中国語で事前学習されたモデルより劣る結果（MER 29.35%、CER 24.31%）を示した。
• 中国語で事前学習されたモデルの優れた性能は、ASCENDとの高い語彙の重複度に起因しており、コーパス全体の約50%が中国語であるため、その事前学習分布と整合性が高かった。
• ASCENDは、CECOS や SEAME といった既存の中国語-英語コードスイッチングデータセットと同等の規模と言語的多様性を有しており、低リソースASR研究における有効性を裏付けている。