[論文レビュー] Efficient Sequence Transduction by Jointly Predicting Tokens and Durations

Xu H, Fei Jia+4 more|arXiv (Cornell University)|Apr 13, 2023

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本稿では、推論時にトークンとその持続時間の両方を同時に予測する新しいシーケンス・ツー・シーケンスアーキテクチャであるToken-and-Duration Transducer（TDT）を提案する。このアプローチにより、入力フレームを飛ばすことで高速化が可能となり、従来のRNN-Transducerと比較して、自動音声認識、音声翻訳、意図分類のタスクで最大2.82倍の高速化と精度向上を達成するとともに、繰り返し現れるトークン列に対する耐性も向上している。

ABSTRACT

This paper introduces a novel Token-and-Duration Transducer (TDT) architecture for sequence-to-sequence tasks. TDT extends conventional RNN-Transducer architectures by jointly predicting both a token and its duration, i.e. the number of input frames covered by the emitted token. This is achieved by using a joint network with two outputs which are independently normalized to generate distributions over tokens and durations. During inference, TDT models can skip input frames guided by the predicted duration output, which makes them significantly faster than conventional Transducers which process the encoder output frame by frame. TDT models achieve both better accuracy and significantly faster inference than conventional Transducers on different sequence transduction tasks. TDT models for Speech Recognition achieve better accuracy and up to 2.82X faster inference than conventional Transducers. TDT models for Speech Translation achieve an absolute gain of over 1 BLEU on the MUST-C test compared with conventional Transducers, and its inference is 2.27X faster. In Speech Intent Classification and Slot Filling tasks, TDT models improve the intent accuracy by up to over 1% (absolute) over conventional Transducers, while running up to 1.28X faster. Our implementation of the TDT model will be open-sourced with the NeMo (https://github.com/NVIDIA/NeMo) toolkit.

研究の動機と目的

• 従来のRNN-Transducerにおける自己回帰的推論の計算コストの高さを解消するため、推論時にフレームスキップを可能にする。
• 標準のRNN-Transducerで知られる問題である繰り返しトークン列に対するモデルの脆弱性を改善する。
• 解析的勾配計算を用いた、トークンと持続時間の両方の予測を同時に最適化可能な微分可能トレーニングフレームワークを構築する。
• 複数のシーケンス変換タスクにおいて、精度と推論速度の両面で一貫した向上を示す。

提案手法

• TDTは、標準のRNN-Transducerに、トークンと持続時間の両方の予測確率分布を別々に出力する共同ネットワークを追加し、それぞれを独立に正規化する。
• 推論時、予測された持続時間が何フレーム飛ばすかを決定し、処理ステップ数を削減する。
• 前向き・後ろ向きアルゴリズムを拡張し、トークンおよび持続時間予測の両方の勾配を計算可能にし、エンド・ツー・エンドのトレーニングを可能にする。
• 関数マージング技術を活用して、トークン予測の事前ソフトマックスログットの勾配を計算し、トレーニングの安定性を向上させる。
• エンコーダーとデコーダーは共有し、エンコーディングされた音声特徴量とデコーダーの隠れ状態を入力とする共同ネットワークを採用する。
• 持続時間予測は、フレーム数の離散的分布としてモデル化され、最適なスキップパターンの学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 トークンと持続時間の同時予測が、精度を損なわずにシーケンス変換モデルの推論速度を向上させることができるか？
• RQ2 推論時にフレームをスキップできる仕組みが、計算コストを削減しながらモデル性能を維持または向上させられるか？
• RQ3 TDTアーキテクチャは、従来のRNN-Transducerと比較して、音声認識、音声翻訳、話者理解タスクでどの程度の性能を示すか？
• RQ4 繰り返し現れる音声入力による性能低下をTDTはどの程度軽減できるか？
• RQ5 トークンと持続時間のヘッドを同時にトレーニングする際、解析的勾配計算を用いて効果的に最適化できるか？

主な発見

• TDTモデルは、自動音声認識タスクにおいて、従来のRNN-Transducerと比較して最大2.82倍の高速化を達成し、精度も向上している。
• MUST-C音声翻訳ベンチマークにおいて、TDTモデルは標準のTransducerと比較して、BLEUスコアで1ポイント以上の絶対的向上を示し、2.27倍高速に動作した。
• 音声意図分類およびスロットフィルティングタスクでは、意図分類精度が最大1.28ポイント向上し、最大1.28倍の高速化を達成した。
• TDTモデルは繰り返し現れるトークン列に対して顕著に高い耐性を示し、合成データセット（繰り返し数字）において、WERをRNN-Tの59.95％から5.78％にまで低下させた。
• TDTモデルの共同トレーニングフレームワークにより、トークンおよび持続時間ヘッドの両方に対して、安定した最適化が解析的勾配を用いて可能となった。
• TDTの実装は、NeMoツールキットにオープンソースとして公開される予定であり、広範な採用とさらなる研究を促進する。