[論文レビュー] Comparing phonemes and visemes with DNN-based lipreading

Kwanchiva Thangthai, Helen L. Bear+1 more|arXiv (Cornell University)|May 8, 2018

Speech and Audio Processing被引用数 16

ひとこと要約

本稿では、TCD-TIMITコーパス上で、音素（38単位）と視覚的音素（13単位）を用いたDNNベースの唇読みを比較し、ハイブリッドDNN-HMMフレームワークとWFSTデコードを用いたDCTおよびEigenlipsを視覚的特徴表現に用いる。音素ベースのシステムは、単位レベルの正確さが低かったにもかかわらず、48.74%という顕著に高い単語レベルの正確さを達成した。これは、語彙辞書における同音字のあいまいさが低減されるため、音素が単語レベルの認識においてより効果的であることを示している。

ABSTRACT

There is debate if phoneme or viseme units are the most effective for a lipreading system. Some studies use phoneme units even though phonemes describe unique short sounds; other studies tried to improve lipreading accuracy by focusing on visemes with varying results. We compare the performance of a lipreading system by modeling visual speech using either 13 viseme or 38 phoneme units. We report the accuracy of our system at both word and unit levels. The evaluation task is large vocabulary continuous speech using the TCD-TIMIT corpus. We complete our visual speech modeling via hybrid DNN-HMMs and our visual speech decoder is a Weighted Finite-State Transducer (WFST). We use DCT and Eigenlips as a representation of mouth ROI image. The phoneme lipreading system word accuracy outperforms the viseme based system word accuracy. However, the phoneme system achieved lower accuracy at the unit level which shows the importance of the dictionary for decoding classification outputs into words.

研究の動機と目的

• 音素と視覚的音素のどちらがDNNベースの唇読みシステムにおいてより効果的かを評価すること。
• 視覚的特徴表現（DCT対Eigenlips）が唇読み性能に与える影響を評価すること。
• DNN-HMMハイブリッドモデリングとWFSTデコードが、単語レベルの認識正確さを向上させる役割を調査すること。
• 音素クラスの増加が、より良い単語レベルの結果にもかかわらず分類性能を低下させるかどうかを特定すること。
• DNNとGMMを用いた場合に、予めの発音の影響（共鳴）モデリングが認識正確さに与える影響を検討すること。

提案手法

• 唇読みシステムは、音響モデルにGMMの代わりにDNNを用いるハイブリッドDNN-HMMアーキテクチャを採用している。
• 視覚的特徴は、口元の領域（ROI）画像から離散コサイン変換（DCT）およびEigenlipsを用いて抽出される。
• デコードには重み付き有限状態トランスダクタ（WFST）が用いられ、音響モデルと言語モデルが統合される。
• DNNは視覚的特徴から音素または視覚的音素単位を予測するように学習され、音素および視覚的音素単位はTCD-TIMITコーパスから導出される。
• スプーカーに依存する（SD）およびスプーカーに依存しない（SI）の2つの学習設定が用いられ、耐性を評価する。
• モデル間の性能を比較するために、単位レベルおよび単語レベルで誤り行列と正確さ指標が計算される。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの唇読みシステムにおいて、音素と視覚的音素のどちらが分析の単位として優れているか？
• RQ2 DCTとEigenlipsの視覚的特徴は、唇読みの認識正確さにおいてどのように比較されるか？
• RQ3 単位分類の改善が最小限であるにもかかわらず、なぜDNNは単語レベルの正確さをより大きく向上させるのか？
• RQ4 語彙辞書における同音字の数の減少が、視覚的音素ベースのシステムの単語レベル性能にどの程度影響を与えるか？
• RQ5 DNNが共鳴をよりうまくモデリングできることで、GMMに比べて優れた性能を発揮できるのか？

主な発見

• 音素ベースの唇読みシステムは、Eigenlips特徴を用いて48.74%の単語正確さを達成し、視覚的音素ベースのシステムを顕著に上回った。
• 視覚的音素ベースのシステムは、クラス数が少ないため、音素ベースのシステム（28.08%）よりも高い単位レベル正確さ（31.10%）を示したが、これは単語レベルの性能向上に結びつかなかった。
• Eigenlips特徴を用いたDNNは、GMMベースライン（33.87%）と比較して、単語正確さを14.87ポイント向上させた（48.74%）。
• Eigenlips特徴は、すべての設定でDCT特徴を上回り、DNNを用いた場合に48.74%の単語正確さを達成した。一方、DCTでは37.40%にとどまった。
• DNNは単位正確さの向上よりも単語正確さの向上が顕著で、共鳴効果のより良いモデリングが示唆された。
• SDとSI設定間の性能差は、DNNベースのシステムでは小さく、スプーカーに依存しない性能が向上していることが示された。