[論文レビュー] A Simplified Fully Quantized Transformer for End-to-end Speech Recognition

Alex Bie, Bharat Venkitesh+3 more|arXiv (Cornell University)|Nov 9, 2019

Speech Recognition and Synthesis参考文献 31被引用数 18

ひとこと要約

この論文では、エンコーダー側の畳み込みと位置エンコーディングを削除し、隠れ層次元を低減することで、10倍のモデル圧縮を達成しつつ性能に損失のない、簡素化された完全に量子化されたTransformerを、エンドツーエンド音声認識用に提案している。その後、8ビットのポストトレーニング量子化を実施した。その結果得られたモデルは、Librispeechでの完全精度ASR性能を維持しながら、効率的なデバイス内推論を可能にした。

ABSTRACT

While significant improvements have been made in recent years in terms of end-to-end automatic speech recognition (ASR) performance, such improvements were obtained through the use of very large neural networks, unfit for embedded use on edge devices. That being said, in this paper, we work on simplifying and compressing Transformer-based encoder-decoder architectures for the end-to-end ASR task. We empirically introduce a more compact Speech-Transformer by investigating the impact of discarding particular modules on the performance of the model. Moreover, we evaluate reducing the numerical precision of our network's weights and activations while maintaining the performance of the full-precision model. Our experiments show that we can reduce the number of parameters of the full-precision model and then further compress the model 4x by fully quantizing to 8-bit fixed point precision.

研究の動機と目的

• 変換器ベースのエンドツーエンドASRシステムの効率的なデバイス内デプロイを可能にするために、モデルサイズと計算コストを削減すること。
• 特に、デコーダー側の畳み込みと位置エンコーディングといった特定のコンponentsを削除した場合のASR性能への影響を調査すること。
• コンパクトなTransformerを8ビット固定小数点精度に完全に量子化することの妥当性を評価すること。
• 標準ベンチマークで最先端の認識精度を維持しつつ、顕著なモデル圧縮を達成すること。

提案手法

• 著者らは、隠れ層次元を低減し、デコーダー側の1次元因果的畳み込みと正弦波位置エンコーディングを削除することで、Transformerを簡素化した。
• 重みと活性化値を8ビット固定小数点表現に変換することで、ポストトレーニング量子化を適用した。
• 特にアーキテクチャの簡素化後も収束を保証するため、大規模なバッチサイズ（80,000フレーム）で学習を実施した。
• 量子化後の劣化出力を回避するため、活性化値のクリッピング範囲を1,000ステップにわたり微調整した。
• 最終的なモデルは、標準的なTransformerアーキテクチャ（マルチヘッド自己注意とフィードフォワードネットワークを備える）であるが、容量が低く、明示的な位置エンコーディングを含まない。
• 量子化は[21]と類似したスキームを用い、効率的な推論ハードウェアとの互換性を確保した。

実験結果

リサーチクエスチョン

• RQ1 デコーダー側の畳み込みと位置エンコーディングを削除した後でも、完全精度のTransformer ASRモデルの性能を維持できるか？
• RQ2 アーキテクチャの簡素化と重み／活性化値の量子化によって、性能に損失なしにどの程度モデルサイズを削減できるか？
• RQ3 簡素化されたTransformerアーキテクチャにポストトレーニング8ビット量子化を適用した場合、ASR精度が維持されるか？
• RQ4 顕著なアーキテクチャ的および精度的削減を行った後でも、収束と安定した推論を可能にするトレーニング戦略は存在するか？

主な発見

• 位置エンコーディングやデコーダー側畳み込みを削除した簡素化モデルでも、完全精度のASR性能が維持され、自己回帰的デコーダー構造が位置情報を暗黙的に学習していることが示された。
• ポストトレーニング8ビット量子化により、簡素化モデルと比較してモデルサイズが4倍に圧縮され、元の138Mパラメータベースラインから総合的に10倍以上の圧縮が達成された。
• 最終的な完全に量子化されたモデルは、Librispeechのdev-cleanセットにおいて完全精度ベースラインと同等のワード誤り率を達成しており、測定可能な性能低下は認められなかった。
• 収束を確保するためには大バッチサイズ（80,000フレーム）での学習が不可欠であり、量子化後の劣化出力を回避するためには、1,000ステップの活性化値クリッピング範囲の微調整が不可欠であった。
• 量子化に伴うトレーニングの意識化（quantization-aware training）がなくても、性能に顕著な影響はなく、ポスト量子化キャリブレーションにより完全精度の性能が回復された。