[論文レビュー] Hearing Lips: Improving Lip Reading by Distilling Speech Recognizers

Ya Zhao, Rui Xu+4 more|arXiv (Cornell University)|Nov 26, 2019

Speech and Audio Processing参考文献 14被引用数 11

ひとこと要約

本稿では、事前学習済み音声認識モデルから唇読みモデルへ、多スケールの知識を転送することで、唇読み性能を向上させる、新たな知識蒸留フレームワークであるLip by Speech (LIBS) を提案する。音声と映像のシーケンスを一致させ、予測を精錬するためのフィルタリング戦略を適用することで、LIBSは最先端の性能を達成し、CMLRでは文字誤り率（CER）を7.66%低減、LRS2では2.75%低減した。

ABSTRACT

Lip reading has witnessed unparalleled development in recent years thanks to deep learning and the availability of large-scale datasets. Despite the encouraging results achieved, the performance of lip reading, unfortunately, remains inferior to the one of its counterpart speech recognition, due to the ambiguous nature of its actuations that makes it challenging to extract discriminant features from the lip movement videos. In this paper, we propose a new method, termed as Lip by Speech (LIBS), of which the goal is to strengthen lip reading by learning from speech recognizers. The rationale behind our approach is that the features extracted from speech recognizers may provide complementary and discriminant clues, which are formidable to be obtained from the subtle movements of the lips, and consequently facilitate the training of lip readers. This is achieved, specifically, by distilling multi-granularity knowledge from speech recognizers to lip readers. To conduct this cross-modal knowledge distillation, we utilize an efficacious alignment scheme to handle the inconsistent lengths of the audios and videos, as well as an innovative filtering strategy to refine the speech recognizer's prediction. The proposed method achieves the new state-of-the-art performance on the CMLR and LRS2 datasets, outperforming the baseline by a margin of 7.66% and 2.75% in character error rate, respectively.

研究の動機と目的

• 深層学習の進展にもかかわらず、唇読みと音声認識の間の性能格差が依然として顕著に高い状態であることを是正すること。
• 視覚のみの唇読みにおいて特徴抽出を困難にする曖昧な唇の動きの課題を克服すること。
• 事前学習済み音声認識モデルに内在する補完的情報を活用し、唇読みモデルの学習を支援・改善すること。
• モダリティの不一致や不完全な音声予測に対処できるクロスモダリティ知識蒸留フレームワークを開発すること。
• 特にデータが少ない状況下でも、大規模な唇読みベンチマークで最先端の性能を達成すること。

提案手法

• 音声認識モデルから唇読みモデルへ、シーケンスレベル、コンテキストレベル、フレームレベルの3段階の多スケール知識蒸留を実施する。
• 異なるサンプリングレートを持つ音声と映像のシーケンスを同期させるクロスモダリティアライメント戦略を実装し、細粒度な特徴マッチングを可能にする。
• 蒸留の前段階で、ノイズや信頼性の低い特徴を除去するため、音声認識モデルの予測を精錬するフィルタリング戦略を導入する。
• 音声および唇読みモデルの両方で、アテンション機構を備えたシーケンス・ツー・シーケンスアーキテクチャを採用し、蒸留を伴うエンド・ツー・エンド学習を可能にする。
• 正解のトランスクリプトと、音声特徴から蒸留された知識の両方を用いて唇読みモデルを学習し、CTC損失と蒸留損失の両方を最適化する。
• アテンション可視化とサリエンシー可視化を用いて、モデルが判別性の高い視覚的特徴にどのように注目しているかを分析・検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み音声認識モデルからの知識蒸留は、唇読みモデルの性能向上に寄与するか？
• RQ2 多スケール知識蒸留（シーケンス、コンテキスト、フレームレベル）は、唇読みにおける特徴学習をどのように向上させるか？
• RQ3 音声と映像のシーケンス間のクロスモダリティアライメントは、蒸留の有効性をどの程度向上させるか？
• RQ4 音声認識モデルの予測をフィルタリングすることで、より信頼性の高い効果的な知識転送が達成されるか？
• RQ5 本手法は、ベースラインモデルと比較して、データが少ない学習条件下でどの程度の性能を示すか？

主な発見

• LIBSは、CMLRデータセットにおいて、31.27%という新たな最先端の文字誤り率（CER）を達成し、ベースライン比で相対的に7.66%の改善を示した。
• LRS2データセットでは、CERを45.53%まで低減し、ベースライン比で2.75%の改善を達成した。これは、複数のベンチマークで一貫した向上を示している。
• 学習データを20%に制限した場合、CMLRにおけるベースライン比の性能向上は9.63%にまで増加し、データが少ない状況下でも優れた一般化性能を示した。
• アテンションアライメントとサリエンシー地図において顕著な改善が見られ、LIBSはベースラインと比較して、はるかに正確に唇領域に注目していた。
• アブレーションスタディの結果、シーケンス、コンテキスト、フレームの各レベルの知識蒸留が、順次、より良いアライメントと特徴の判別性向上に寄与していることが確認された。
• RNNベースのアーキテクチャを採用しているにもかかわらず、LRS2においては、TM-seq2seqのようなTransformerベースのモデルをも凌駆するCERを達成した。これは、本手法の蒸留戦略の有効性を示している。