[論文レビュー] Visual Speech Language Models

Helen L. Bear|arXiv (Cornell University)|Jan 1, 2018

Speech and Audio Processing参考文献 8被引用数 2

ひとこと要約

本稿は、RMAVデータセットを用いて、唇読みシステムにおける視覚的発音単位（viseme）、音素単位（phoneme）、語彙単位（word）の3単位を視覚的発音言語モデルの評価対象として検討している。結果として、音素ベースの言語モデルが視覚的発音単位ベースのモデルを著しく上回り、語彙ベースのモデルは大規模データがなければ効果を発揮しないことが判明した。音素単位は、認識精度と解釈可能性の両面で最良のバランスを提供する。

ABSTRACT

Language models (LM) are very powerful in lipreading systems. Language models built upon the ground truth utterances of datasets learn grammar and structure rules of words and sentences (the latter in the case of continuous speech). However, visual co-articulation effects in visual speech signals damage the performance of visual speech LM's as visually, people do not utter what the language model expects. These models are commonplace but while higher-order N-gram LM's may improve classification rates, the cost of this model is disproportionate to the common goal of developing more accurate classifiers. So we compare which unit would best optimize a lipreading (visual speech) LM to observe their limitations. We compare three units; visemes (visual speech units) \cite{lan2010improving}, phonemes (audible speech units), and words.

研究の動機と目的

• 異なる言語的単位（visemes, phonemes, words）が視覚的発音言語モデルの性能に与える影響を調査すること。
• 唇読みシステムの性能を低下させる要因となる視覚的連環効果（visual co-articulation effects）の課題を解決すること。
• 精度と解釈可能性の両面で優れた視覚的発音言語モデルを構築するための最適な単位を特定すること。
• 高階層の言語モデルが視覚的発音単位の限界を補完できるかを評価すること。
• 今後の唇読みシステム開発を支援するため、視覚的発音認識における言語モデル構築に最も頑健な単位を同定すること。

提案手法

• RMAV音声・映像発音データセットの12名の話者から抽出したアクティブアパーニアンモデル特徴量を用い、HTKツールキットを用いて従来の唇読みシステムを構築した。
• 分類器の単位として、話者に依存する visemes、IPA表記の phonemes、正解ラベルの words の3種類のラベル付け方式を採用した。
• 3つの単位（viseme, phoneme, word）に基づく言語モデルを構築し、それぞれを異なる分類器単位とペアにしてデコード処理を実施した。
• 分類には隠れマルコフモデル（HMMs）を用い、言語モデルを後処理のデコード段階で活用して単語の正答率を向上させた。
• 全12名の話者を対象に単語正答率（Cw）を評価し、標準誤差を併記した。
• 分類器単位と言語モデル単位の組み合わせを比較することで、各単位選択が認識精度に与える影響を明確にした。

実験結果

リサーチクエスチョン

• RQ1 視覚的発音言語モデルにおいて、viseme, phoneme, word 単位のそれぞれが単語正答率（Cw）に与える影響はどのように異なるか？
• RQ2 視覚的発音と聴覚的発音の不一致にもかかわらず、音素ベースの言語モデルが視覚的発音単位ベースのモデルを上回る性能を発揮する理由は何か？
• RQ3 語彙ベースの分類器が視覚的発音認識で劣悪な性能を示す理由は何か？また、どのようなデータ条件であれば実用的になると考えられるか？
• RQ4 語彙ベースの言語モデルは、visemes や phonemes といった劣化した分類器単位を補完できるか？
• RQ5 分類器単位と言語モデル単位のどの組み合わせが、最も頑健で解釈可能な唇読みシステムを実現するか？

主な発見

• 視覚的発音単位ベースの言語モデルは単語正答率が 0.02 ± 0.0063 にとどまり、同音語の混同と視覚的連環効果の影響により性能が著しく低いことが示された。
• 音素ベースの言語モデルを用いることで、視覚的発音単位または音素単位の分類器と組み合わせた場合、単語正答率が 0.19 ± 0.0036 まで向上し、視覚的発音単位ベースのモデルと比較して統計的に有意な向上が確認された。
• 語彙ベースの分類器は、1000以上ものクラスを有する大きな語彙空間において、各クラスの学習サンプルが不足しているため、視覚的発音単位分類器とペアにした場合の平均 Cw は 0.09 にとどまった。
• 音素分類器と語彙ベースの言語モデルを組み合わせた場合、Cw は 0.20 ± 0.0043 に達し、12名中5名の話者で視覚的発音単位分類器を上回った。これは、語彙レベルの言語モデルが強力であることを示している。
• 音素分類器と語彙ベース言語モデルの組み合わせが最も高い平均 Cw（0.20）を達成した。これは、語彙レベルの言語モデルが発音空間間の誤訳誤差を緩和できることを示している。
• 精度は高いものの、音素ベースの出力は直接解釈できないため、十分な学習データが確保できる限り、実用的導入には語彙ベースのモデルが好ましいと結論づけられた。