[論文レビュー] Decoding visemes: improving machine lipreading (PhD thesis).

Helen L. Bear|arXiv (Cornell University)|Oct 3, 2017

Speech and Audio Processing被引用数 3

ひとこと要約

本博士論文は、機械的口唇読みの精度を向上させるために、話者に依存する音素からビズムへのマッピング手法を提案している。最適なビズム集合（話者1人あたり11〜35個）が分類性能を顕著に向上させることを示している。話者固有のビズムクラスタを用いた階層的トレーニングと、ビズムから音素へのデコードを組み合わせることで、従来の手法、特にリーのマップが最も効果的であると示されている基準手法よりも顕著な精度向上を達成している。

ABSTRACT

Machine lipreading (MLR) is speech recognition from visual cues and a niche research problem in speech processing & computer vision. Current challenges fall into two groups: the content of the video, such as rate of speech or; the parameters of the video recording e.g, video resolution. We show that HD video is not needed to successfully lipread with a computer. The term viseme is used in machine lipreading to represent a visual cue or gesture which corresponds to a subgroup of phonemes where the phonemes are visually indistinguishable. A phoneme is the smallest sound one can utter, because there are more phonemes per viseme, maps between units show a many-to-one relationship. Many maps have been presented, we compare these and our results show Lee's is best. We propose a new method of speaker-dependent phoneme-to-viseme maps and compare these to Lee's. Our results show the sensitivity of phoneme clustering and we use our new knowledge to augment a conventional MLR system. It has been observed in MLR, that classifiers need training on test subjects to achieve accuracy. Thus machine lipreading is highly speaker-dependent. Conversely speaker independence is robust classification of non-training speakers. We investigate the dependence of phoneme-to-viseme maps between speakers and show there is not a high variability of visemes, but there is high variability in trajectory between visemes of individual speakers with the same ground truth. This implies a dependency upon the number of visemes within each set for each individual. We show that prior phoneme-to-viseme maps rarely have enough visemes and the optimal size, which varies by speaker, ranges from 11-35. Finally we decode from visemes back to phonemes and into words. Our novel approach uses the optimum range visemes within hierarchical training of phoneme classifiers and demonstrates a significant increase in classification accuracy.

研究の動機と目的

• 機械的口唇読みにおける高い話者依存性を解消するため、話者固有の音素からビズムへのマッピングを開発すること。
• 同じ発音の基準があるにもかかわらず、話者間でビズム軌跡に変動が生じる要因を調査すること。
• 口唇読み分類精度を最大化するための、話者1人あたりの最適ビズム数を特定すること。
• 話者最適化されたビズム集合を用いた階層的トレーニングにより、従来の機械的口唇読みシステムを強化すること。
• 改善されたビズムベース分類を用いて、ビズムから音素および語にデコードすること。
• 特にリーのマップを含む、先行の音素からビズムへのマップの頑健性を評価し、改良された話者に依存する代替案を提案すること。

提案手法

• 話者固有のビズム軌跡のばらつきを考慮した、従来の汎用マップとは異なる、新規の話者に依存する音素からビズムへのマッピング技術を提案する。
• 各話者の固有のビズムクラスタパターンから導出された最適化されたビズム集合を用いて、音素分類器の階層的トレーニングを実施する。
• 複数の既存の音素からビズムへのマップを比較し、リーのマップが比較のための最良のベースラインであることが特定された。
• ビズムデコードを用いて音素および語を再構築し、改良されたビズム表現を最終認識パイプラインに統合する。
• ビズム集合のサイズと話者間での分布を評価することで、音素クラスタリングの感度を分析する。
• 話者固有のトレーニングデータを用いて手法を検証し、高精細ビデオ（HD）は高性能を達成するのに必須でないことを示している。

実験結果

リサーチクエスチョン

• RQ1 話者固有のビズムマッピングは、汎用マップと比較して、機械的口唇読みの精度にどのように影響を与えるか？
• RQ2 機械的口唇読みの分類精度をピークに達成するための、話者1人あたりの最適ビズム数は何か？
• RQ3 同じ音素を発音しても、個々の話者間でビズム軌跡にどの程度の差が生じるか？
• RQ4 最適化されたビズム集合を用いた階層的トレーニングは、音素分類精度を顕著に向上させることができるか？
• RQ5 リーの音素からビズムへのマップの性能は、本研究で提案された話者に依存する手法と比較してどの程度か？

主な発見

• リーの音素からビズムへのマップは、既存のマップの中で最も効果的であり、比較のための最良のベースラインである。
• 話者1人あたりの最適ビズム数は、個々の発音パターンに応じて11〜35の範囲で変動する。
• 同じ音素を発音しても、話者間でビズム軌跡に顕著なばらつきが生じるため、強い話者依存性が確認された。
• 従来の音素からビズムへのマップは、しばしばビズムの粒度が不十分であるため、最適でない分類性能を示す傾向がある。
• 本研究で提案された話者に依存するビズムマッピング手法は、従来の機械的口唇読みシステムに統合することで、分類精度を顕著に向上させる。
• 最適化されたビズム集合を用いた階層的トレーニングにより、ビズムから音素および語への有効なデコードが可能となり、全体のシステム性能が向上した。