[論文レビュー] FitHuBERT: Going Thinner and Deeper for Knowledge Distillation of Speech Self-Supervised Learning

Yeonghyeon Lee, Kangwook Jang+3 more|arXiv (Cornell University)|Jul 1, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

FitHuBERTは、音声自己教師学習の知識蒸留のための薄く深い学生モデルを提案し、HuBERTのサイズを23.8%に縮小し、推論時間を64.1%削減（2.8倍高速化）した。ヒントベースの蒸留と学習可能な時間短縮層を用いることで、SUPERBベンチマークで12.1% WERおよび13.3% PERという最先端の性能を達成した。

ABSTRACT

Large-scale speech self-supervised learning (SSL) has emerged to the main field of speech processing, however, the problem of computational cost arising from its vast size makes a high entry barrier to academia. In addition, existing distillation techniques of speech SSL models compress the model by reducing layers, which induces performance degradation in linguistic pattern recognition tasks such as phoneme recognition (PR). In this paper, we propose FitHuBERT, which makes thinner in dimension throughout almost all model components and deeper in layer compared to prior speech SSL distillation works. Moreover, we employ a time-reduction layer to speed up inference time and propose a method of hint-based distillation for less performance degradation. Our method reduces the model to 23.8% in size and 35.9% in inference time compared to HuBERT. Also, we achieve 12.1% word error rate and 13.3% phoneme error rate on the SUPERB benchmark which is superior than prior work.

研究の動機と目的

• HuBERTのような大規模な音声自己教師学習（SSL）モデルの高い計算コストと大きなモデルサイズが、学術的および実用的利用を妨える問題に対処する。
• 従来の蒸留手法がモデルの深さを減らすことで生じる、音声パターン認識タスク（例：発音子認識、ASR）における性能低下を克服する。
• 従来の蒸留手法とは異なり、次元は薄く、層数は多い学生モデルを設計することで、より優れたパラメータ効率と性能の維持を実現する。
• 推論速度を低下させずに精度を損なわないように、学習可能な時間短縮層を導入する。
• 教師モデルの複数の中間層から知識を転送するヒントベースの蒸留スキームを提案する。

提案手法

• ポイントワイズ畳み込みを用いたチャネル増強型CNN特徴抽出器を設計し、パラメータ数を削減しながら特徴表現を向上させる。
• Transformerブロック内の自己注意機構の次元を37.5%、フィードフォワードネットワークの内部層を84.3%削減することで、薄いモデルを構築する。
• 教師モデル（12層）と同一のTransformer層数を維持することで、表現力の深さを保ち、アーキテクチャ的により深いモデルを実現する。
• 教師モデルと学生モデルの中間層表現（特徴）を一致させるヒントベースの蒸留を実装し、一致を促進する損失関数を用いる。
• 推論中にシーケンス長をダウンサンプリングすることで、計算負荷を軽減し、処理速度を向上させる学習可能な時間短縮層を導入する。
• 教師モデルと学生モデル間の次元不一致を解消するため、層ごとの予測ヘッドを用いて、安定した学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 薄く深い学生アーキテクチャは、言語パターン認識タスクにおけるモデル効率性と性能の両面で、従来の蒸留手法を上回ることができるか？
• RQ2 複数の中間層を用いたヒントベースの蒸留は、最終層出力のみを用いる場合と比較して、学生モデルの性能向上に寄与するか？
• RQ3 学習可能な時間短縮層は、モデル精度を損なわせずにどれほど推論時間を短縮できるか？
• RQ4 FitHuBERTは、パラメータ数、推論速度、およびSUPERBにおける下流タスク性能の観点から、従来の蒸留技術と比較してどのように優れているか？
• RQ5 なぜ、局所的（例：PR, ASR）とグローバル（例：SID）分類タスクの間で、性能低下のパターンに差が生じるのか？

主な発見

• FitHuBERTは、元のHuBERTの23.8%のモデルサイズに縮小し、推論時間も64.1%削減（2.8倍高速化）した。
• SUPERBベンチマークでは、12.1% WERおよび13.3%発音子誤り率（PER）を達成し、DistilHuBERTを含む従来の蒸留手法を上回った。
• すべての12層のヒントを使用したモデルが最良の性能（94.20% IC精度、12.66% WER）を示し、多層ヒントが知識転送を顕著に向上させることを示した。
• 時間短縮層の比k=1（短縮なし）の設定は、標準的なFitHuBERT-100よりも優れた性能を示し、推論速度が重要でない場合には時間短縮層を省略可能であることを示した。
• スピークアーナリシス（SID）のようなグローバル分類タスクでは、性能低下が顕著に現れ、アーキテクチャ設計に起因する局所的言語パターンへのバイアスが示唆された。
• CNNアーキテクチャにおけるポイントワイズ畳み込みの使用により、チャネル間の特徴連携が可能となり、固定チャネル設計と比較して2.56%の精度向上を達成した。