[論文レビュー] Multi-task Recurrent Model for Speech and Speaker Recognition

Zhiyuan Tang, Lantian Li+1 more|arXiv (Cornell University)|Mar 31, 2016

Speech Recognition and Synthesis参考文献 18被引用数 9

ひとこと要約

本論文は、一方のタスクの出力をもう一方のタスクの再帰的入力として供給することにより、音声認識（ASR）と発話者認識（SRE）を同時に学習するマルチタスク再帰ニューラルネットワークを提案する。これにより、負の相関があるにもかかわらず相互に改善が可能となる。モデルは両タスクで最先端の性能を達成しており、SREの誤差率は従来のi-vector/PLDAシステムを上回り、ASRのWERはベースライン比で4.8%低減された。

ABSTRACT

Although highly correlated, speech and speaker recognition have been regarded as two independent tasks and studied by two communities. This is certainly not the way that people behave: we decipher both speech content and speaker traits at the same time. This paper presents a unified model to perform speech and speaker recognition simultaneously and altogether. The model is based on a unified neural network where the output of one task is fed to the input of the other, leading to a multi-task recurrent network. Experiments show that the joint model outperforms the task-specific models on both the two tasks.

研究の動機と目的

• 人間の認識において共通の処理パイプラインを共有し、相互に恩恵を受けるにもかかわらず、音声認識と発話者認識を独立したタスクとして扱うという制限を解消すること。
• ASRはコンテンツ中心の特徴を必要とし、SREは発話者中心の特徴を必要とするという負の相関を克服するため、統合学習フレームワークを設計すること。
• 負の相関があるにもかかわらず、タスク間再帰接続を介した共同学習が、両タスクの性能向上を同時に実現できることを示すこと。
• 一方のタスクからの再帰的情報が、もう一方のタスクの学習を効果的に支援し、一般化性能とロバストネスを向上させることを検証すること。

提案手法

• 1つのタスク（例：ASRにおける発話素子の尤度、SREにおける発話者尤度）の出力を、次の時刻におけるもう一方のタスクへの入力として供給する統合LSTMネットワークを設計する。
• 1つのタスクの再帰隠れ状態を、もう一方のタスクの入力ゲート、出力ゲート、または非線形活性化関数に補助入力として使用し、タスク間再帰を実現する。
• 時間的ダイナミクスを通じて共有特徴学習が可能となり、1つのタスクの出力が次の時刻におけるもう一方のタスクの処理に影響を与える。
• エンドツーエンドで訓練され、ASRには交差エントロピー損失、SREには三重項損失が用いられ、共同最適化が可能となる。
• 再帰的投影 $ r_t $ が主要な監視信号として使用され、複数の構成をテストして、フィードバックが異なるコンponentsに与える影響を評価する。
• WSJコーパスを用いて評価され、フィードバックルーティングとコンponent選択に関するアブレーションスタディが実施され、性能向上の要因が分析された。

実験結果

リサーチクエスチョン

• RQ1 タスク間再帰を活用することで、1つのニューラルネットワークが音声認識と発話者認識を同時に学習可能か？
• RQ2 負の相関があるにもかかわらず、一方のタスクの出力をもう一方のタスクの入力として供給することで、両タスクの性能が向上するか？
• RQ3 LSTMのどのコンponent（入力ゲート、出力ゲート、活性化関数）が、相手タスクからのフィードバックによって最も効果的に向上するか？
• RQ4 共同モデルは、i-vectorやr-vectorといった強力なタスク特化ベースラインを上回る性能を両タスクで達成できるか？
• RQ5 再帰的投影 $ r_t $ は十分なフィードバック信号か、それ以外の投影（例：$ i_t $, $ f_t $）を追加することでさらなる向上が得られるか？

主な発見

• マルチタスク再帰モデルは、入力ゲートおよび出力ゲートにフィードバックを適用した場合、ASRの語誤り率（WER）をベースラインの7.41%から6.97%に低減した。
• SREの等誤り率（EER）は、r-vectorベースラインの1.84%から最良の設定で0.55%に低下し、i-vector/PLDAシステム（EER = 0.57%）を上回った。
• すべてのフィードバック構成において、両タスクの性能が一貫して向上し、アーキテクチャの変化に対してロバストであることが示された。
• 再帰的投影 $ r_t $ からのフィードバックのみで強く性能向上が得られたことから、これが本質的なタスク間情報の抽出を可能としていることが示唆された。
• 非再帰的投影（例：$ i_t $, $ f_t $）を組み込むと、一貫した性能向上が得られなかったことから、$ r_t $ が最も効果的なフィードバック信号であると判明した。
• 共同モデルは、両タスクで最先端の性能を達成し、負の相関があるタスクに対してもタスク間再帰の有効性が裏付けられた。