[論文レビュー] On the Inductive Bias of Word-Character-Level Multi-Task Learning for Speech Recognition

Jan Kremer, Lasse Borgholt+1 more|arXiv (Cornell University)|Nov 28, 2018

Speech Recognition and Synthesis参考文献 30被引用数 4

ひとこと要約

本稿では、接続主義的時系列分類（CTC）を用いて単語レベルと文字レベルの自動音声認識（ASR）を同時に学習するマルチタスク学習（MTL）フレームワークを提案する。単語レベルの監視と文字レベルの正則化を組み合わせることで、未知語トークンの予測を排除し、23%の語誤り率（WER）を達成し、単一タスクのベースラインを著しく上回る。主な貢献は、MTLの誘導的バイアスを語の頻度と語の長さの好みの間の補間として、実験的に同定することにある。

ABSTRACT

End-to-end automatic speech recognition (ASR) commonly transcribes audio signals into sequences of characters while its performance is evaluated by measuring the word-error rate (WER). This suggests that predicting sequences of words directly may be helpful instead. However, training with word-level supervision can be more difficult due to the sparsity of examples per label class. In this paper we analyze an end-to-end ASR model that combines a word-and-character representation in a multi-task learning (MTL) framework. We show that it improves on the WER and study how the word-level model can benefit from character-level supervision by analyzing the learned inductive preference bias of each model component empirically. We find that by adding character-level supervision, the MTL model interpolates between recognizing more frequent words (preferred by the word-level model) and shorter words (preferred by the character-level model).

研究の動機と目的

• 小さなデータセット上で、従来の否定的な結果とは対照的に、単語レベルのASRモデルを完全に再構築して学習することが可能かどうかを調査すること。
• 単語レベルおよび文字レベルの監視を用いたマルチタスク学習が、モデルの誘導的バイアスにどのように影響を与えるかを分析すること。
• 訓練過程における語の認識の学習ダイナミクスを、語の頻度と長さの分布の観点から理解すること。
• 単一監視ベースラインを上回る一般化性能を、単語レベルおよび文字レベルの監視を組み合わせることで達成できるかどうかを特定すること。

提案手法

• モデルは、共有エンコーダと別個の単語レベルおよび文字レベルの出力ヘッドを備えた接続主義的時系列分類（CTC）を用いる。
• 単語レベルの出力は一般的な語彙に基づき定義され、文字レベルの出力は標準的なアルファベットにブランクトークンを含む。
• 合計損失は、単語レベルと文字レベルのCTC損失の重み付き和として定義され、連合最適化を可能にする。
• モデルの訓練は、時間経過に伴い検証セットにおける認識済み語の累積分布を追跡することで監視される。
• 誘導的バイアスの分析は、訓練初期に認識された語の頻度順位と長さ順位の分布を比較することで実施される。
• 文字レベルのベースラインの評価には、語彙制約付きのビームサーチデコーダが用いられ、単語レベルの性能評価には統合デコーディングがテストされた。

実験結果

リサーチクエスチョン

• RQ1 ラベルのスパarsityが顕著な小さなデータセット上で、単語レベルのASRモデルを完全に再構築して学習することが可能かどうか。
• RQ2 単語レベルおよび文字レベルの監視を用いたマルチタスク学習が、特定のタイプの語の認識にどの程度モデルの好みに影響を与えるか。
• RQ3 MTLモデルが、単語レベルと文字レベルのモデルの誘導的バイアスの間で、どの程度補間的特性を示すか。
• RQ4 単語レベルおよび文字レベルの監視を組み合わせることで、単一タスクのアプローチを上回る一般化性能が得られるかどうか。

主な発見

• MTLモデルは語誤り率（WER）23%を達成し、文字レベルのベースラインより5ポイント低い。単語レベルのみのモデルを上回る性能を示した。
• 従来の研究とは対照的に、本研究では、小さなデータセット上でも、単語レベルのASRモデルを完全に再構築して学習することが可能であり、文字レベルのベースラインと同等の性能を達成した。
• 単語レベルのモデルのみでは、最も頻度の高い語が最初に学習され、高頻度語への強いバイアスが示された。
• 文字レベルのモデルでは、短い語がより簡単に学習され、初期段階から語の長さの全範囲を均等にカバーした。
• MTLモデルは両方のバイアスを組み合わせ、特にレア語や長い語に利益をもたらすように、語の頻度と長さの順位分布がより均等になった。
• MTLモデルは、すべての認識済み語が語彙内に含まれることを保証することで、未知語トークンの予測を完全に排除し、トランスクリプトの可読性を向上させた。