[論文レビュー] Robust end-to-end deep audiovisual speech recognition

Ramon Sanabria, Florian Metze+1 more|arXiv (Cornell University)|Nov 21, 2016

Speech and Audio Processing参考文献 11被引用数 6

ひとこと要約

本稿では、音声・視覚特徴の統合に双方向LSTMと接続主義的時系列分類（CTC）損失を用いたエンド・ツー・エンドの音声視覚認識システムを提案する。IBM ViaVoiceデータセットにおいて最先端の性能を達成し、語誤り率（WER）を11.7％まで低減した。また、CTCのピーク位置が、特に共鳴効果を示す発話動態と意味的に整合していることを示した。

ABSTRACT

Speech is one of the most effective ways of communication among humans. Even though audio is the most common way of transmitting speech, very important information can be found in other modalities, such as vision. Vision is particularly useful when the acoustic signal is corrupted. Multi-modal speech recognition however has not yet found wide-spread use, mostly because the temporal alignment and fusion of the different information sources is challenging. This paper presents an end-to-end audiovisual speech recognizer (AVSR), based on recurrent neural networks (RNN) with a connectionist temporal classification (CTC) loss function. CTC creates sparse "peaky" output activations, and we analyze the differences in the alignments of output targets (phonemes or visemes) between audio-only, video-only, and audio-visual feature representations. We present the first such experiments on the large vocabulary IBM ViaVoice database, which outperform previously published approaches on phone accuracy in clean and noisy conditions.

研究の動機と目的

• HMMや手動アラインメントに依存せずに、音声と視覚モダリティを効果的に統合する耐障害性の高いエンド・ツー・エンドの音声視覚認識システムの開発。
• 特に共鳴効果に関連する発話動態のタイミングとどのように関連するかを含め、マルチモーダル文脈におけるCTCの「ピーク的」出力活性化の解釈可能性の調査。
• クリーンおよび騒音環境下における音声視覚認識において、特徴レベルの早期統合（early fusion）とスコアレベルの後期統合（late fusion）の性能向上を評価。
• 音声と映像のモダリティ間の時間的非整合性を分析し、共同学習によってCTCベースのモデルがそれをどのように是正するかを評価。
• 多条件学習が騒音に対する耐障害性を向上させるかどうか、および視覚特徴が劣化した音声環境下で認識精度を向上させるかどうかを特定。

提案手法

• 音声および視覚ストリームの両方における逐次的依存関係をモデル化するためのコアアーキテクチャとして、双方向LSTM（Long Short-Term Memory）ネットワークを採用。
• エンド・ツー・エンドの学習を可能にするために、アラインメントフリーなシーケンス・ツー・シーケンス学習を可能にするため、接続主義的時系列分類（CTC）損失を用いる。'空白'トークンにより可変長入力を処理できる。
• RNNに供給する前に、音声（FBank + ピッチ）と視覚（SIFT、顔面特徴点）特徴を連結することで、早期統合を実装。これにより、共同時間的モデリングが可能となる。
• 実世界の音声劣化に耐性を持つよう、クリーンおよび騒音環境の両方を含む多条件データで学習することでデータ拡張を実施。
• 技術的遅延（例：コーデック遅延）を補償するため、音声、映像、音声視覚出力間のアラインメント比較をオフセット処理する。
• ターゲット単位として発音子とビズムを用い、標準マッピングにより39個の発音子を12個のビズムに変換。性能評価には発音子精度と語誤り率（WER）を用いる。

実験結果

リサーチクエスチョン

• RQ1 大ボリューム語彙のデータセットにおいて、エンド・ツー・エンドのCTCベース音声視覚統合は、従来のHMM/GMMシステムと比較して語誤り率（WER）でどのように異なるか？
• RQ2 特に共鳴に関連する発話動態の文脈において、CTCモデルの「ピーク的」活性化構造は意味的に解釈可能か？
• RQ3 音声と視覚特徴の早期統合は、後期統合や単一モダリティシステムと比較して、より良いアラインメントと性能をもたらすか？
• RQ4 音声と映像ストリーム間の時間的遅延がモデルのアラインメントに与える影響は何か？また、モデルはそれを自動的に是正できるか？
• RQ5 多条件学習は、音声視覚認識における騒音耐性をどの程度向上させるか？

主な発見

• 提案された音声視覚モデルは、IBM ViaVoiceデータセット全体において語誤り率（WER）11.7％を達成し、このベンチマークで公表済みの最低のWERを記録した。
• FBank + ピッチ特徴を用いた場合、従来の交差エントロピーで学習したDNNベースラインを上回り、発音子精度83.0％を達成した。
• SIFT記述子と顔面特徴点、およびスピードアップ特徴を組み合わせたビデオオンリーモーダル特徴は、65.7％のビズム精度を達成し、個々の構成要素を上回った。
• 音声視覚統合のCTC出力ピークは、音声オンリーモーダルとビデオオンリーモーダルのピークと時間的に整合しており、非整合性の是正と耐障害性の向上を示唆している。
• ビデオモーダルは発話タイミングにおいて常に音声モーダルよりも先行しており、発話生成における予測的共鳴（anticipatory coarticulation）の存在を支持する。
• 音声と映像ストリーム間のオフセットを±330msに設定しても、WERや発音子精度に顕著な影響がなく、CTCフレームワークにおける時間的非整合性に強いことを示している。