[論文レビュー] DinoSR: Self-Distillation and Online Clustering for Self-supervised Speech Representation Learning

Alexander H. Liu, Heng-Jui Chang+3 more|arXiv (Cornell University)|May 17, 2023

Speech Recognition and Synthesis被引用数 6

ひとこと要約

DinoSRは、自己蒸留とオンラインクラスタリングを組み合わせることで、生音声から意味のある離散的音響ユニットを学習する自己教師付き音声表現学習フレームワークを提案する。教師ネットワークを用いて文脈を反映した埋め込みを生成し、オンラインクラスタリングを適用して電話に類似したコードブックを発見し、これらのユニットを学生ネットワークに蒸留することで、LibriSpeechおよび自己教師付き音響ユニット発見のベンチマークで最先端の性能を達成した。得られた離散的ユニットは高品質で解釈可能であり、人間の発音的カテゴリーと密接に一致している。

ABSTRACT

In this paper, we introduce self-distillation and online clustering for self-supervised speech representation learning (DinoSR) which combines masked language modeling, self-distillation, and online clustering. We show that these concepts complement each other and result in a strong representation learning model for speech. DinoSR first extracts contextualized embeddings from the input audio with a teacher network, then runs an online clustering system on the embeddings to yield a machine-discovered phone inventory, and finally uses the discretized tokens to guide a student network. We show that DinoSR surpasses previous state-of-the-art performance in several downstream tasks, and provide a detailed analysis of the model and the learned discrete units.

研究の動機と目的

• 離散的ユニットを活用することで性能向上と解釈可能性を向上させる自己教師付き音声表現学習手法の開発。
• HuBERTのような従来の反復的・ヒューリスティックな音響ユニット発見手法の限界を克服し、オンラインクラスタリングを統合したエンドツーエンド学習を可能にする。
• 自己蒸留と統合された勾配フリーなオンラインクラスタリング機構により、コードブックの利用効率とクラスタ品質を向上させる。
• 学習された離散的ユニットが意味的に意味を持つこと、および人間が定義した発音的ユニットと密接に一致することを示す。
• スプーリング認識および自己教師付き音響ユニット発見ベンチマークで最先端の性能を達成する。

提案手法

• モデルは教師ネットワークを用いて、マスクされていない音声入力から文脈を反映した埋め込みを抽出する。
• オンラインクラスタリングシステムが教師の埋め込みを処理し、動的で機械が発見するコードブック（離散ユニットの集合）を生成し、電話のインベントリに相当する。
• 学生ネットワークは、オンラインクラスタリングによる割り当てから得られる離散トークンをターゲットとして、自己蒸留により訓練される。
• 教師ネットワークは学生のパラメータの指数移動平均を用いて更新され、ラベルなしデータでも安定した学習が可能になる。
• 文脈表現学習の強化のため、マスク言語モデル（MLM）を統合してマスクされた入力の再構築を実現する。
• 最小限のハイパーパrameterでエンドツーエンドに動作し、反復的最適化やオフラインクラスタリング手順を回避する。

Figure 1: An overview of DinoSR: the teacher network is an exponential moving average of the student network and takes unmasked speech as input to extract target features. Online clustering is applied to multiple layers of the teacher, each with a separate codebook. The student network is trained to

実験結果

リサーチクエスチョン

• RQ1 オンラインクラスタリングと自己蒸留を組み合わせることで、自己教師付き音声表現の品質と解釈可能性が向上するか？
• RQ2 DinoSRのオンラインクラスタリングを統合したエンドツーエンド学習は、HuBERTのような反復的・オフライン手法と比較して、性能およびコードブック品質において優れているか？
• RQ3 DinoSRで学習された離散的ユニットは、人間が定義した発音的ユニットとどの程度一致しているか？
• RQ4 提案手法は、スプーリング認識および自己教師付き音響ユニット発見ベンチマークで最先端の結果を達成するか？
• RQ5 コードブックは、頻度の高い発音とまれな発音のような長尾分布をどの程度的確に捉えているか？

主な発見

• DinoSRはLibriSpeech開発セットでコードブックのパープレキシティを179.2に達成し、VQ-APC（72.1）およびco-training APC（135.0）を上回り、コードブックの利用効率と品質の向上を示している。
• モデルはクラスタ純度0.19、発音純度0.58を達成し、MFCC上でオフラインK-means（0.06および0.30）を上回り、HuBERT-iter2（0.15および0.61）と同等またはそれを上回っている。
• DinoSRはPNMIスコア0.57を達成し、学習されたユニットと発音的カテゴリーの強い一致を示している。
• 256のコードブックのうち217のアクティブクラスタが使用されており、コードブックの高い利用度と細分化された表現学習を示している。
• P(発音|コード)の可視化から、各コードワードが主に1つの発音に関連していることが確認され、音声的に類似した発音（例：/sp/ と /sil/）が同じクラスタを共有している。
• コードブックマッピングを用いたフレーム単位の発音誤り率は58.2%であり、学習されたユニットが発音分類に実用的であることを確認している。

Figure 2: The trade-off between performance (WER on LibriSpeech dev-other) and data efficiency (hours of speech the model processed in total during pre-training) for different methods.