[論文レビュー] Silence is Sweeter Than Speech: Self-Supervised Model Using Silence to Store Speaker Information

Chi-Luen Feng, Po‐Chun Hsu+1 more|arXiv (Cornell University)|May 8, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

この論文は、HuBERTのような自己教師あり音声モデルが、音声波形の無音セグメントに対応する表現に主に話者情報を格納していることを明らかにした。訓練データに無音を挿入することで、微調整を行わずに話者識別精度が約2%向上し、無音が学習された表現における話者特徴の分離を促進することを示している。

ABSTRACT

Self-Supervised Learning (SSL) has made great strides recently. SSL speech models achieve decent performance on a wide range of downstream tasks, suggesting that they extract different aspects of information from speech. However, how SSL models store various information in hidden representations without interfering is still poorly understood. Taking the recently successful SSL model, HuBERT, as an example, we explore how the SSL model processes and stores speaker information in the representation. We found that HuBERT stores speaker information in representations whose positions correspond to silences in a waveform. There are several pieces of evidence. (1) We find that the utterances with more silent parts in the waveforms have better Speaker Identification (SID) accuracy. (2) If we use the whole utterances for SID, the silence part always contributes more to the SID task. (3) If we only use the representation of a part of the utterance for SID, the silenced part has higher accuracy than the other parts. Our findings not only contribute to a better understanding of SSL models but also improve performance. By simply adding silence to the original waveform, HuBERT improved its accuracy on SID by nearly 2%.

研究の動機と目的

• 自己教師あり学習（SSL）モデル（例：HuBERT）がその隠れ表現に話者情報をどのように格納しているかを調査すること。
• 音声波形における無音の位置が、話者固有の情報の格納と相関しているかを検討すること。
• 訓練データに無音を追加することで、下流の話者識別（SID）性能が向上するかを特定すること。
• 異なる種類の音声情報（例：話者、内容）が、波形内の異なる時間的位置に格納されているという仮説を検証すること。

提案手法

• HuBERT表現内の話者情報の測定のために、話者識別（SID）をプローブタスクとして用いた。
• 発話文を断片に分割し、個々の断片からの表現を用いてSID精度を評価することで、どの部分に話者情報が格納されているかを特定した。
• 波形の先頭または末尾に無音を挿入し、無音断片と音声断片の間でSID性能を比較した。
• HuBERTの重み付き層表現を用いて線形の下流分類器を訓練し、異なるデータ設定におけるSID性能を評価した。
• 無音長さを系統的に変化させ（発話文の1/50、1/10、1/5）、性能向上に最適な挿入長を特定した。
• 波形断片をシャッフルすることで、無音に基づく表現学習の頑健性をテストするアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 音声波形に無音が存在する場合、HuBERT表現における話者情報の格納が高まるか？
• RQ2 無音断片からの表現は、音声断片からの表現よりも話者識別タスクで優れた性能を示すか？
• RQ3 訓練データに無音を挿入することで、上流のSSLモデルを微調整せずに話者識別性能が向上するか？
• RQ4 話者識別精度を最大化する最適な挿入無音長は存在するか？

主な発見

• 無音の割合が高い発話文では、話者識別（SID）精度が顕著に向上し、無音比が5%未満に低下すると性能が30–50%低下した。
• 無音断片は常に他のどの音声断片よりもSID性能に寄与が大きく、単独で使用した場合、全断片の中で最高の精度を達成した。
• 波形の先頭または末尾に無音を挿入することで、HuBERT baseモデルのSID精度が約2%向上し、HuBERT-largeでは0.2%の向上が得られた。
• 最適な無音長は発話文全体の1/10であった。これより短いか長いかの両方のケースで性能が低下した。
• 無音断片は周囲の音声断片からの話者情報を集約しており、話者と内容の表現を分離する役割を果たしている可能性がある。
• 研究結果は、無音がモデルが自己教師あり表現において話者固有の情報を効果的に格納・抽出できるようにする構造的ヒントとして機能していることを示している。