[論文レビュー] CIF: Continuous Integrate-and-Fire for End-to-End Speech Recognition

Linhao Dong, Bo Xu|arXiv (Cornell University)|May 27, 2019

Speech Recognition and Synthesis参考文献 40被引用数 6

ひとこと要約

本稿では、スパikingニューラルネットワークのダイナミクスを模倣する、エンドツーエンドの音声認識に向けた新しいソフトで単調なアテンションメカニズム、Continuous Integrate-and-Fire (CIF) を提案する。音声特徴を連続的に統合し、検出された境界で発火することで、効率的でオンラインな推論と正確な音声境界の局所化を可能にし、Librispeechのtest-cleanで2.86%の新しいSOTA WER、HKUSTの中国語電話音声認識で23.09%のCERを達成した。

ABSTRACT

In this paper, we propose a novel soft and monotonic alignment mechanism used for sequence transduction. It is inspired by the integrate-and-fire model in spiking neural networks and employed in the encoder-decoder framework consists of continuous functions, thus being named as: Continuous Integrate-and-Fire (CIF). Applied to the ASR task, CIF not only shows a concise calculation, but also supports online recognition and acoustic boundary positioning, thus suitable for various ASR scenarios. Several support strategies are also proposed to alleviate the unique problems of CIF-based model. With the joint action of these methods, the CIF-based model shows competitive performance. Notably, it achieves a word error rate (WER) of 2.86% on the test-clean of Librispeech and creates new state-of-the-art result on Mandarin telephone ASR benchmark.

研究の動機と目的

• 標準のアテンションメカニズムが有する、オンライン推論のサポート不足とフレーム同期のアライメントの欠如といった限界を解消すること。
• リアルタイムストリーミングと音声境界検出をサポートする、ソフトで単調なアライメントメカニズムを開発すること。
• 離散的な統合・発火型スパikingニューロンの連続時間版を、シーケンス変換のための微分可能代替手段として設計すること。
• スケーリング、数量損失、テイルハンドリングといった新たな支援戦略を通じて、モデルの効率性とアライメント精度を向上させること。

提案手法

• CIFは、時間経過に伴うエンコーダ表現の連続的統合をモデル化し、膜電位が入力重みと隠れ状態に基づいて蓄積される。
• 統合値がしきい値に達すると、'スパイク'が生成され、現在のラベルの音声情報が出力され、次のラベルに分割される。
• 連続関数を用いて統合・発火プロセスをシミュレートすることで、時間方向の誤差逆伝播が可能になる。
• スケーリング戦略により、交差エントロピー学習中のラベルターゲット長の不一致を補正する。
• 予測された出力トークン数を監督するための数量損失を導入する。
• シーケンスの終端における残差情報処理のためのテイルハンドリング法を採用し、アライメント精度を向上させる。

Fig. 1 : Illustration of the attention alignment and our proposed CIF alignment on an encoded utterance of length 5 and labelled as ”CAT”. The shade of gray in each square represents the weight of each encoder step involved in the calculation of decoding labels. The vertically dashed line in (b) rep

実験結果

リサーチクエスチョン

• RQ1 オンライン音声認識をサポートしつつ高い精度を維持できる、微分可能で連続時間のアテンションメカニズムを設計できるか？
• RQ2 スパキングニューラルネットワークの統合・発火原理を、誤差逆伝播が可能な形でエンドツーエンドのASRに適応できるか？
• RQ3 CIFベースのモデルの安定性と性能向上に不可欠な補助的トレーニング戦略は何か？
• RQ4 CIFは、自動音声認識および音声境界検出の両面で、既存の単調でソフトなアテンションメカニズムを上回るか？
• RQ5 CIFは、読み言葉と即興発話を含む多様な音声認識タスクに一般化可能か？

主な発見

• CIFベースのモデルは、Librispeechのtest-cleanセットで2.86%の新しいSOTA WERを達成し、従来手法を上回った。
• AISHELL-2中国語読み言葉ベンチマークでは、test_androidで6.17%のCERを達成し、Chain-TDNNベースラインの9.59%を顕著に上回った。
• より困難なHKUST中国語電話会話データセットでは、CIFは23.09%のCERを達成し、新しいSOTAを樹立し、TransformerおよびJoint CTC-attentionモデルを上回った。
• アブレーションスタディの結果、数量損失が最も重要な要素であり、その除去により性能低下と学習の不安定性が最も顕著に現れた。
• チャンクホッピングを用いたオンライン推論が可能であり、ストリーミング機能を備えた状態でtest-cleanで3.96%のWERを達成し、実用的応用の可能性を示した。
• 自己回帰的デコーダは境界明確性が低い状況で最も重要であるが、中国語のような高明確性設定でも効果を発揮した。

Fig. 2 : The architecture of our CIF-based model used for the ASR task. Operations in the dashed rectangles are only applied in the training stage. The switch (S) before the CIF module connects the left in the training stage and the right in the inference stage.