[論文レビュー] Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling

Hairong Liu, Zhenyao Zhu+2 more|arXiv (Cornell University)|Mar 1, 2017

Speech Recognition and Synthesis参考文献 22被引用数 25

ひとこと要約

Gram-CTC は、時間ごとの出力長を可変化させることで、シーケンスラベリングにおける最適な基本単位（グラム）を自動で学習し、動的にターゲットシーケンスを分解する、新しい損失関数を提案する。これは CTC を拡張し、出力長が可変なシーケンスラベリングを可能にし、精度と効率の両方を向上させ、Switchboard で 7.3% WER、10,000 時間のノイズ混在データセットで 25.59% WER を達成し、vanilla CTC や先行手法を上回る最先端の結果を示した。

ABSTRACT

Most existing sequence labelling models rely on a fixed decomposition of a target sequence into a sequence of basic units. These methods suffer from two major drawbacks: 1) the set of basic units is fixed, such as the set of words, characters or phonemes in speech recognition, and 2) the decomposition of target sequences is fixed. These drawbacks usually result in sub-optimal performance of modeling sequences. In this pa- per, we extend the popular CTC loss criterion to alleviate these limitations, and propose a new loss function called Gram-CTC. While preserving the advantages of CTC, Gram-CTC automatically learns the best set of basic units (grams), as well as the most suitable decomposition of tar- get sequences. Unlike CTC, Gram-CTC allows the model to output variable number of characters at each time step, which enables the model to capture longer term dependency and improves the computational efficiency. We demonstrate that the proposed Gram-CTC improves CTC in terms of both performance and efficiency on the large vocabulary speech recognition task at multiple scales of data, and that with Gram-CTC we can outperform the state-of-the-art on a standard speech benchmark.

研究の動機と目的

• 固定された基本単位（例：文字、語、発音）と固定されたシーケンス分解の制限を解消すること。
• 手作業による単位設計の必要性をなくし、モデルが学習データから最適なグラムを学習できるようにすること。
• 時間ごとの出力長を可変化させることで、長距離依存関係をより効果的に捉え、モデリングの効率と性能を向上させること。
• アーキテクチャの変更なしに、既存の seq2seq アーキテクチャと互換性があるプラグイン型損失関数を提供すること。
• Gram-CTC を用いた自動グラム発見が、最小記述長のような事前制約を必要とせず、退化解を回避することを示すこと。

提案手法

• Gram-CTC は、固定単位の代わりに可変長グラムへの微分可能で学習可能なターゲットシーケンスの分解を導入することで、CTC を拡張する。
• モデルは学習中にグラムの集合を学習し、各グラムは文字または発音の部分列として定義され、入力ごとに動的に分解が決定される。
• アライメントプロセスの微分可能リラクゼーションを用い、グラムの選択とその位置に関する勾配が流れ込むようにする。
• 損失関数は、入力シーケンスと可変長グラムシーケンスの間のすべての可能なアライメントについて集約するが、固定単位の代わりに学習されたグラムが使用される。
• 訓練の安定化と性能向上のため、交差エントロピー損失と Gram-CTC 損失の共同学習戦略を採用する。
• 推論のストライドを拡大可能（例：CTC の 2 対比で 4）とし、精度を損なわず計算効率を著しく向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 シーケンスラベリングモデルは、手作業で設計された単位に依存せず、学習データから最適な基本単位（グラム）を自動で学習できるか？
• RQ2 時間ごとの出力長を可変化させることで、長距離依存関係やシーケンス構造のモデリングが向上するか？
• RQ3 Gram-CTC は、多様なデータスケールにおいて、精度と推論効率の両面で標準的な CTC を上回ることができるか？
• RQ4 明示的な正則化や事前分布を必要とせず、自動グラム発見プロセスが退化解を回避できるか？
• RQ5 Gram-CTC は、最小限のアーキテクチャ変更で、大規模語彙・ノイズ混在音声認識タスクに効果的に適用可能か？

主な発見

• Gram-CTC は Switchboard ベンチマークで 7.3% WER を達成し、vanilla CTC（9.0%）や先行の最先端手法を上回った。
• 10,000 時間のノイズ混在音声データセットでは、Gram-CTC は言語モデルなしで WER を vanilla CTC の 29.1% から 27.56% に低下させ、共同学習によりさらに 25.59% まで改善した。
• Gram-CTC を用いたモデルは、CTC よりも大きな推論ストライド（4 対 2）を可能とし、計算効率を著しく向上させた。
• 交差エントロピー損失と Gram-CTC 損失の共同学習により、WER が 1.97 パcentポイント低下（27.56% から 25.59%）し、追加の訓練コストは最小限に抑えられた。
• ベイジアン事前分布や最小記述長制約を一切使用せずとも、Gram-CTC は単位発見において退化解を暗黙的に回避した。
• Gram-CTC の成功は、頻度が高く短い（長さ 5 まで）グラムを少数学習することで、意味のあるサブワード単位を効果的に捉えていることに起因する。