[論文レビュー] Leveraging neural representations for facilitating access to untranscribed speech from endangered languages.

Nay San, Martijn Bartelds+10 more|arXiv (Cornell University)|Mar 26, 2021

Speech Recognition and Synthesis参考文献 8被引用数 4

ひとこと要約

本論文では、低資源・絶滅危惧言語におけるクエリ・バイ・エクサムプル音声語彙検索（QbE-STD）の性能を向上させるために、事前学習済み英語wav2vec 2.0表現を活用する手法を提案する。事前学習モデルの途中層から抽出した特徴量を用いることで、メル周波数ケプストラム係数やボトルネック特徴量といった従来の特徴量と比較して、56–86%の相対的性能向上を達成した。特に英語に音声学的に近い言語では、より顕著な向上が見られた。

ABSTRACT

For languages with insufficient resources to train speech recognition systems, query-by-example spoken term detection (QbE-STD) offers a way of accessing an untranscribed speech corpus by helping identify regions where spoken query terms occur. Yet retrieval performance can be poor when the query and corpus are spoken by different speakers and produced in different recording conditions. Using data selected from a variety of speakers and recording conditions from 7 Australian Aboriginal languages and a regional variety of Dutch, all of which are endangered or vulnerable, we evaluated whether QbE-STD performance on these languages could be improved by leveraging representations extracted from the pre-trained English wav2vec 2.0 model. Compared to the use of Mel-frequency cepstral coefficients and bottleneck features, we find that representations from the middle layers of the wav2vec 2.0 Transformer offer large gains in task performance (between 56% and 86%). While features extracted using the pre-trained English model yielded improved detection on all the evaluation languages, better detection performance was associated with the evaluation language's phonological similarity to English.

研究の動機と目的

• 発話者や録音条件のばらつきによって、低資源・絶滅危惧言語におけるクエリ・バイ・エクサムプル音声語彙検索（QbE-STD）の検索性能が著しく低下する問題に対処すること。
• 高資源言語（英語）から得た事前学習済みニューラル表現が、低資源・絶滅危惧言語におけるQbE-STD性能を向上させることを調査すること。
• ターゲット言語と英語との音声学的類似性が、転送表現の有効性に与える影響を評価すること。
• メル周波数ケプストラム係数やボトルネック特徴量といった従来の音響特徴量と比較して、事前学習済みwav2vec 2.0特徴量の性能を評価すること。

提案手法

• 7種のオーストラリア先住民言語および地域的オランダ語方言の非翻訳音声コーパス上で、ファインチューニングおよび評価されたクエリ・バイ・エクサムプル音声語彙検索（QbE-STD）システムを用いた。
• 事前学習済み英語wav2vec 2.0モデルの途中層表現を抽出し、変換器エンコーダーの隠れ状態を音響特徴量として使用した。
• これらの表現の性能を、メル周波数ケプストラム係数やボトルネック特徴量といった標準的特徴量と比較した。
• 発話者や録音条件の多様な状況下での性能を評価し、ドメインシフトに対する耐性を検証した。
• 等誤差率（EER）などの標準的指標を用いて検出性能を測定し、ベースライン特徴量との相対的改善度を算出した。
• 英語との音声学的類似性と、事前学習済み表現による性能向上の相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 低資源・絶滅危惧言語において、翻訳済みデータが限られる状況でも、事前学習済み英語wav2vec 2.0表現がQbE-STD性能を向上させることができるか？
• RQ2 英語との音声学的類似性が異なる言語間で、転送表現の性能はどのように変化するか？
• RQ3 事前学習済みモデルの途中層特徴量が、メル周波数ケプストラム係数やボトルネック特徴量といった従来の音響特徴量よりも、QbE-STDでどれほど優れているか？
• RQ4 事前学習済み表現の使用が、発話者や録音条件の不一致によって引き起こされる性能低下を緩和するか？

主な発見

• 変換器エンコーダーの中間層から得た事前学習済み英語wav2vec 2.0表現は、評価されたすべての絶滅危惧言語においてQbE-STD性能を顕著に向上させた。
• メル周波数ケプストラム係数やボトルネック特徴量といったベースライン特徴量と比較して、相対的性能向上は56%から86%の範囲であった。
• 英語と音声学的に類似度の高い言語では、事前学習済み表現を用いることでより顕著な性能向上が得られた。
• 事前学習済み特徴量の使用は、すべての評価言語で一貫した向上をもたらした。これは、低資源状況下でも広範な転送可能性を示している。
• 最も優れた性能を示した特徴量は、wav2vec 2.0モデルの最終層や入力データそのものではなく、中間層からの抽出であった。
• 結果から、事前学習済み表現が低資源音声検索タスクにおけるドメインギャップを効果的に埋めることが示された。