[論文レビュー] LipReading with 3D-2D-CNN BLSTM-HMM and word-CTC models

Dilip Kumar Margam, Rohith Aralikatti+5 more|arXiv (Cornell University)|Jun 25, 2019

Speech and Audio Processing参考文献 23被引用数 14

ひとこと要約

本稿では、エンドツーエンドの唇読みのための3D-2D-CNN-BLSTMアーキテクチャを提案し、文字単位のCTC（ch-CTC）と語単位のCTC（w-CTC）の訓練を比較する。w-CTCアプローチは、Gridの学習済みセットで1.3% WER、未学習セットで8.6% WERを達成し、それぞれLCANetおよびLipNetに対して55%および24.5%の相対的改善を示した。これは、文脈的な語単位モデリングにより同音異義語の曖昧さをより効果的に解消できることを示し、最先端の性能を達成している。

ABSTRACT

In recent years, deep learning based machine lipreading has gained prominence. To this end, several architectures such as LipNet, LCANet and others have been proposed which perform extremely well compared to traditional lipreading DNN-HMM hybrid systems trained on DCT features. In this work, we propose a simpler architecture of 3D-2D-CNN-BLSTM network with a bottleneck layer. We also present analysis of two different approaches for lipreading on this architecture. In the first approach, 3D-2D-CNN-BLSTM network is trained with CTC loss on characters (ch-CTC). Then BLSTM-HMM model is trained on bottleneck lip features (extracted from 3D-2D-CNN-BLSTM ch-CTC network) in a traditional ASR training pipeline. In the second approach, same 3D-2D-CNN-BLSTM network is trained with CTC loss on word labels (w-CTC). The first approach shows that bottleneck features perform better compared to DCT features. Using the second approach on Grid corpus' seen speaker test set, we report $1.3\%$ WER - a $55\%$ improvement relative to LCANet. On unseen speaker test set we report $8.6\%$ WER which is $24.5\%$ improvement relative to LipNet. We also verify the method on a second dataset of $81$ speakers which we collected. Finally, we also discuss the effect of feature duplication on BLSTM-HMM model performance.

研究の動機と目的

• 従来のDCT特徴量の代わりに、3D-2D-CNN-BLSTMアーキテクチャから得られる深層ニューラルネットワークのボトルネック特徴量を用いることで、唇読み性能の向上を図ること。
• 文脈的情報を活用して同音異義語の曖昧さを解消できるようにするため、語単位のCTC損失（w-CTC）で学習することで、文字単位のCTC（ch-CTC）と比較して性能が向上するかどうかを調査すること。
• 視覚のみの唇読みにおけるBLSTM-HMMモデルにおける特徴量の重複処理の有効性を評価し、音声・視覚融合の先行研究の知見を純粋な視覚設定へと拡張すること。
• 提案アーキテクチャの耐障害性とスケーラビリティを、標準的（Grid）およびより困難で制約のない（インド英語）データセットの両方で示すこと。

提案手法

• 3D-2D-CNN-BLSTMネットワークを、カリキュラム学習を用いて文字ラベルのCTC損失（ch-CTC）で学習し、その後ボトルネック特徴量を抽出して下流のBLSTM-HMM学習に用いる。
• 同じ3D-2D-CNN-BLSTMネットワークを、語単位ラベルのCTC損失（w-CTC）でエンドツーエンドで学習し、直接的な語予測と視覚的に類似する語の曖昧さの解消を可能にする。
• ch-CTCモデルからのボトルネック特徴量を用いて、BLSTM-HMMハイブリッドシステムを訓練し、従来のDCTベースのBLSTM-HMMベースラインと比較可能にする。
• 視覚フレームレートとHMMの状態遷移タイミングを一致させるために、特徴量の重複処理を適用し、純粋な唇読み状況でもBLSTM-HMMの性能向上を実現する。
• データ拡張には、ランダムなフレーム繰り返し／削除と水平方向のミラー画像を用い、フレームレートの変動やデータ変動に強い性能を実現する。
• 語誤り率（WER）は、ch-CTC予測結果に対して編集距離を用いたスペル補正を適用して算出され、モデルはGridおよびインド英語データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 3D-2D-CNN-BLSTM ch-CTCモデルからのボトルネック特徴量を用いることで、従来のDCT特徴量と比較してBLSTM-HMMの性能が向上するか？
• RQ2 3D-2D-CNN-BLSTMネットワークを語単位のCTC損失（w-CTC）で学習することで、文字単位のCTCと既存の最先端モデルと比較してWERが著しく低減するか？
• RQ3 特徴量の重複処理は、視覚のみの唇読みにおけるBLSTM-HMMモデルの性能にどのように影響するか？また、音声・視覚融合を超えて一般化可能か？
• RQ4 提案アーキテクチャは、制約のある（Grid）および制約のない（インド英語）データセットの両方で、発話者差異や環境ノイズに対して耐障害性を示すか？

主な発見

• 3D-2D-CNN-BLSTM w-CTCモデルは、Gridの学習済み発話者テストセットで1.3% WERを達成し、LCANet比で55.1%の相対的改善を示した。
• 未学習発話者テストセットでは、w-CTCモデルが8.6% WERを達成し、LipNet比で24.5%の相対的改善を示した。
• 3D-2D-CNN-BLSTM ch-CTCモデルは、学習済みセットでWERを3.2%まで低下させ、未学習セットでは5.2%まで低下させ、DCT BLSTM-HMMベースライン（それぞれ8.9%および16.5% WER）と比較して顕著な改善を示した。
• 特徴量の重複処理は、GridデータセットでBLSTM-HMM性能を53%向上させ、インド英語データセットでは44%向上させ、純粋な視覚設定でも有効であることを示した。
• インド英語データセットでは、3D-2D-CNN-BLSTM w-CTCモデルがch-CTCモデル比で25.0%優れていることから、実世界の変動に強いことが確認された。
• 優れた性能を示す一方で、w-CTCモデルは大規模語彙に対してスケーラブルではない。著者らは、今後の課題としてサブワードCTC損失の活用を提案している。