[論文レビュー] A Fully Differentiable Beam Search Decoder

Ronan Collobert, Awni Hannun+1 more|arXiv (Cornell University)|Feb 16, 2019

Speech Recognition and Synthesis参考文献 37被引用数 15

ひとこと要約

この論文は、アコースティックモデルと言語モデルのエンドツーエンド学習を可能にする完全微分可能なビームサーチデコーダ（DBD）を導入している。勾配をビームサーチプロセス全体に逆伝播させることで、露光バイアスとラベルバイアスを解消する。本手法は、正規化されていないスコアを統合的に最適化し、シーケンスレベルの正規化を用いることで、より小さなビームサイズと単純なモデルでもWSJデータセットで最先端のWEDを達成する。

ABSTRACT

We introduce a new beam search decoder that is fully differentiable, making it possible to optimize at training time through the inference procedure. Our decoder allows us to combine models which operate at different granularities (e.g. acoustic and language models). It can be used when target sequences are not aligned to input sequences by considering all possible alignments between the two. We demonstrate our approach scales by applying it to speech recognition, jointly training acoustic and word-level language models. The system is end-to-end, with gradients flowing through the whole architecture from the word-level transcriptions. Recent research efforts have shown that deep neural networks with attention-based mechanisms are powerful enough to successfully train an acoustic model from the final transcription, while implicitly learning a language model. Instead, we show that it is possible to discriminatively train an acoustic model jointly with an explicit and possibly pre-trained language model.

研究の動機と目的

• トレーニング中にビームサーチを通過する勾配伝播を可能にすることで、系列モデルにおける露光バイアスを解消すること。
• 局所的正規化モデルにおけるラベルバイアスを克服するために、正規化されていないスコアとグローバルなシーケンスレベルの正規化を用いること。
• ハイパーパramータチューニングを検証セットで行わずに、異なる粒度（例：トークンレベルおよび語彙レベル）のモデルを共同で学習可能にすること。
• 高価な正規化項を回避することで、長時間系列および大規模語彙に対しても効率的にスケーリングできること。
• 微分可能なビームサーチで学習された、より単純で小さなアコースティックモデルが、競争力のある性能を達成できることを示すこと。

提案手法

• デコーダは、アコースティックモデルからの正規化されていないフレームスコアと、トークンおよび語彙レベルの言語モデルからの正規化されていない遷移スコアを用いる。
• 新しいターゲットシーケンス追跡メカニズムを用いて、探索プロセス中に勾配を維持するビームサーチを実行する。
• すべての有効なアライメントに対して、ターゲットシーケンス全体のグローバル正規化項を計算することで、局所的正規化とラベルバイアスを回避する。
• ビームサーチの近似に微分可能なlog-sum-exp（logadd）演算を用い、n番目に良い仮説を介した逆伝播を可能にする。
• 任意の組み合わせの異なる粒度のモデル（例：事前学習済み言語モデルを含む）をサポートする。
• 全アーキテクチャ、特にビームサーチを含む部分を逆伝播により勾配を計算し、エンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチを完全に微分可能にすることで、アコースティックモデルと言語モデルのエンドツーエンド学習が可能になるか？
• RQ2 微分可能なビームサーチは、系列モデルにおける露光バイアスとラベルバイアスを解消するか？
• RQ3 異なる粒度（例：語彙レベルとトークンレベル）のモデルの共同学習が、ハイパーパramータチューニングなしで達成可能か？
• RQ4 本手法は、大きな語彙と長いシーケンスに対しても、顕著な計算コストを伴わず効率的にスケーリング可能か？
• RQ5 微分可能なビームサーチで学習された、より単純で小さなアコースティックモデルが、競争力のある性能を達成できるか？

主な発見

• DBDは、WSJデータセットで最先端のモデルが使用する音声データとトランスクリプトのみを用いた場合と同等の競争力のある語誤り率（WER）を達成する。
• ビームサイズ500の条件下でWERを低減し、8000のビームサイズを必要とする well-tuned ASGベースラインを上回る性能を示す。
• 時間的受容野を半分に減らし、パラメータ数も減らしたより単純なアコースティックモデルが、DBDで学習することで同様の性能を達成する。
• 検証セット上でデコーディングパラメータ（例：言語モデル重み）のハイパーパramータチューニングの必要性がなくなる。
• DBDによる学習により、アコースティックモデルは有効な語のシーケンスに集中でき、暗黙の言語モデル学習の負担が軽減される。
• ビームサイズ500でWSJデータセットの1エポックの学習が約30分で完了し、スケーラビリティを示している。