[論文レビュー] What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure

Jui Shah, Yaman Kumar+2 more|arXiv (Cornell University)|Jan 2, 2021

Speech Recognition and Synthesis参考文献 58被引用数 6

ひとこと要約

この論文は、wav2vec2.0 と Mockingjay の2つの最先端の音声トランスフォーマーモデルを調査し、それらの学習された表現がどのような言語的および音声的特徴を捉えているかを理解することを目的としている。ネイティブ、ノンネイティブ、読み取り、即興の発話の4つのタイプにわたる47のプロービングタスクを通じて、wav2vec2.0 は音声および流暢さの特徴を優れた性能でモデル化している一方、Mockingjay は発音および文法的特徴で優位であり、性能は層や発話タイプによって顕著に異なることが明らかになった。

ABSTRACT

In recent times, BERT based transformer models have become an inseparable part of the 'tech stack' of text processing models. Similar progress is being observed in the speech domain with a multitude of models observing state-of-the-art results by using audio transformer models to encode speech. This begs the question of what are these audio transformer models learning. Moreover, although the standard methodology is to choose the last layer embedding for any downstream task, but is it the optimal choice? We try to answer these questions for the two recent audio transformer models, Mockingjay and wave2vec2.0. We compare them on a comprehensive set of language delivery and structure features including audio, fluency and pronunciation features. Additionally, we probe the audio models' understanding of textual surface, syntax, and semantic features and compare them to BERT. We do this over exhaustive settings for native, non-native, synthetic, read and spontaneous speech datasets

研究の動機と目的

• wav2vec2.0 や Mockingjay のような音声トランスフォーマーモデルの高次元表現に、どのような言語的および音声的特徴がエンコードされているかを調査すること。
• ネイティブ、ノンネイティブ、読み取り、即興の発話を含む多様な発話タイプにおいて、wav2vec2.0 と Mockingjay の表現能力を比較すること。
• 特定の特徴（例：音声、流暢さ、超音節的特徴、文法的特徴）を抽出する際、どのモデルとどの層が最適であるかを同定すること。
• スプーファー認識や電話分類などの下流タスクにおける、学習済み表現の転送可能性を評価すること。
• 実用的応用における特徴抽出のためのモデル選択を支援するため、層ごとの特徴学習の体系的マップを提供すること。

提案手法

• 音声、流暢さ、超音節的発音、テキストベースの特徴の4つの高レベルな言語的カテゴリーにわたる47のプロービングタスクを設計・実装する。
• 各音声入力に対して、wav2vec2.0 と Mockingjay の両モデルの複数の層における中間層埋め込みを抽出する。
• 各層の表現に対して線形プローブを訓練し、特定の言語的特徴を分類する。精度などの指標を用いて学習能力を評価する。
• ネイティブ・リーディング、ネイティブ・スパントゥーラス、ノンネイティブ・リーディングの多様な発話タイプを用いて、モデルの頑健性と一般化性能を評価する。
• 最も性能の良い層、最終層、および全層の重み付き平均からの埋め込みを用いて、VoxCeleb でのスプーファー認識と LibriSpeech での電話分類という下流タスクを実行する。
• 層やタスクごとのモデル性能を比較し、層ごとの特徴学習パターンとモデル固有の強みを特定する。

実験結果

リサーチクエスチョン

• RQ1 wav2vec2.0 と Mockingjay の中間表現が、どのような言語的および音声的特徴を捉えているか？
• RQ2 プロービングタスクの性能は、発話タイプ（ネイティブ・リーディング、ネイティブ・スパントゥーラス、ノンネイティブ・リーディング）によってどのように変化するか？
• RQ3 どのモデル（wav2vec2.0 または Mockingjay）が、どの種類の特徴をより効果的に学習し、どの層で学習しているか？
• RQ4 これらのモデルから得られる学習済み表現は、スプーファー認識や電話分類などの下流タスクにどのように転送されるか？
• RQ5 これらのモデルは、即興発話やノンネイティブ発話のような制御されていない発話環境に、どの程度一般化できるか？

主な発見

• wav2vec2.0 は音声および流暢さ関連のプロービングタスクで Mockingjay を上回り、最良の層を用いることでスプーファー認識で91％の精度を達成した。
• Mockingjay は、制御されたネイティブ・リーディング環境において、発音および文法的特徴で wav2vec2.0 を上回った。
• 音声特徴の最良の層は、wav2vec2.0 では最初の層であり、発音特徴では6番目の層が最適であった。
• 下流タスクの性能はモデルや層によって顕著に異なる：wav2vec2.0 は全層の重み付き平均を用いることでスプーファー認識で87％の精度を達成したのに対し、Mockingjay は26％であった。
• 両モデルとも、即興発話およびノンネイティブ発話では性能が低下し、発話タイプがスプーファーの種別よりも表現品質に強い影響を与えることが示された。
• 驚くべきことに、クリーンで制御されたネイティブ発話環境では、音声トランスフォーマーが BERT を上回ってテキストベースの特徴を処理できたが、即興発話のような制御されていない環境には一般化できなかった。