[論文レビュー] Optimal Completion Distillation for Sequence Learning

Sara Sabour, William Chan+1 more|arXiv (Cornell University)|Oct 2, 2018

Natural Language Processing Techniques参考文献 67被引用数 5

ひとこと要約

この論文は、動的計画法を用いて生成された接頭辞の最適な接尾辞を特定することで、編集距離に基づいて最適化する新しいトレーニング手法であるOptimal Completion Distillation (OCD)を紹介する。OCDは、言語モデルの再スコアリングなしで、end-to-end音声認識において、Wall Street Journalで9.3% WER、Librispeech test-cleanで4.5% WERを達成し、MLEや先行手法を上回る最先端の結果を実現した。追加のハイパーパrameterは不要である。

ABSTRACT

We present Optimal Completion Distillation (OCD), a training procedure for optimizing sequence to sequence models based on edit distance. OCD is efficient, has no hyper-parameters of its own, and does not require pretraining or joint optimization with conditional log-likelihood. Given a partial sequence generated by the model, we first identify the set of optimal suffixes that minimize the total edit distance, using an efficient dynamic programming algorithm. Then, for each position of the generated sequence, we use a target distribution that puts equal probability on the first token of all the optimal suffixes. OCD achieves the state-of-the-art performance on end-to-end speech recognition, on both Wall Street Journal and Librispeech datasets, achieving $9.3\%$ WER and $4.5\%$ WER respectively.

研究の動機と目的

• 最大尤度推定（MLE）に依存しない編集距離を直接最適化するように序列モデルのトレーニング手順を開発すること。
• ハイパーパramータチューニング、事前学習、または対数尤度との共同最適化の必要性を排除すること。
• モデルに真値との編集距離を最小化するようなシーケンスを生成させることで、end-to-end音声認識の性能を向上させること。
• 既存の序列最適化手法に対するスケーラブルで効率的かつハイパーパramータフリーの代替手法を提供すること。

提案手法

• モデルが生成した各接頭辞に対して、OCDは動的計画法を用いて、真値シーケンスとの編集距離を最小化するすべての最適な接尾辞を計算する。
• 各最適接尾辞の最初のトークンに等確率を割り当てるターゲット分布を定義し、最適な補完方針の蒸留を可能にする。
• モデルはこれらの最初のトークンの平均対数尤度を最大化するように訓練され、結果として接頭辞を最適に拡張する能力を学習する。
• この手法はオンライン形式で動作し、トレーニング中のモデルからサンプリングされたポリシー内軌道を使用する。
• 生成シーケンス長がn、ターゲット長がmの場合、時間計算量はO(nm)であり、長大なシーケンスに対しても効率的である。
• MLEの初期化を回避し、条件付き対数尤度との共同最適化も不要であるため、独立したトレーニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 MLE や補助目的関数に依存せずに、編集距離を直接最小化するように序列モデルをトレーニングできるか？
• RQ2 動的計画法を用いて、任意の生成された接頭辞に対して最適な補完接尾辞を効率的に計算できるか？
• RQ3 最適な補完方針を蒸留することで、MLE や単一ターゲット最適化よりも優れた性能が得られるか？
• RQ4 OCDは言語モデルの再スコアリングなしで、end-to-end音声認識において最先端の結果を達成できるか？

主な発見

• Wall Street Journalデータセットでは、OCDは9.3% WERを達成し、すべての先行研究を上回り、MLEベースライン比で12%相対的改善を示した。
• Librispeech test-cleanでは、OCDは4.5% WERを達成し、MLEベースライン比で21%相対的改善を示し、新たな最先端の結果を樹立した。
• より困難なLibrispeech test-otherセットでは、OCDは13.3% WERを達成し、Zeyerら（2018）が報告した以前の最先端の15.4%を上回った。
• WSJでは3.1% CERを達成し、MLEベースライン比で14%相対的改善を示した。
• OCDは、1つの最適な補完を選択する戦略（例：OCT）よりも優れており、全最適補完の集合を考慮することの利点を示した。
• アルゴリズムは効率的かつスケーラブルであり、追加のハイパーパramータが不要で、初期トレーニングエポックからMLEを上回る性能を示した。