[論文レビュー] Visual gesture variability between talkers in continuous visual speech

Helen L. Bear|arXiv (Cornell University)|Oct 3, 2017

Speech and Audio Processing参考文献 18被引用数 5

ひとこと要約

本研究は、RMAVデータセットとHMMベースの分類を用いて、発話者固有の音素から視態（viseme）への変換マップ（P2Vマップ）を構築することで、連続的唇読解における発話者依存的視態変動を調査した。音素の混同データを用い、発話者固有のP2Vマップが発話者非依存またはマルチ発話者マップよりも顕著に単語認識精度を向上させることを確認した。連続発話では、孤立語彙との比較において性能差が縮小され、文脈や連環発音の影響が発話者固有マップの有効性を高めることを示唆している。

ABSTRACT

Recent adoption of deep learning methods to the field of machine lipreading research gives us two options to pursue to improve system performance. Either, we develop end-to-end systems holistically or, we experiment to further our understanding of the visual speech signal. The latter option is more difficult but this knowledge would enable researchers to both improve systems and apply the new knowledge to other domains such as speech therapy. One challenge in lipreading systems is the correct labeling of the classifiers. These labels map an estimated function between visemes on the lips and the phonemes uttered. Here we ask if such maps are speaker-dependent? Prior work investigated isolated word recognition from speaker-dependent (SD) visemes, we extend this to continuous speech. Benchmarked against SD results, and the isolated words performance, we test with RMAV dataset speakers and observe that with continuous speech, the trajectory between visemes has a greater negative effect on the speaker differentiation.

研究の動機と目的

• 唇読解における音素から視態（P2V）へのマッピングが、連続発話において本質的に発話者依存的であるかどうかを明らかにすること。
• 連続的視覚発話認識において、発話者依存（SD）、発話者非依存（SI）、マルチ発話者（MS）P2Vマップの性能を評価すること。
• 連続発話が、孤立語彙認識と比較して、発話者依存と発話者非依存の唇読解システム間の性能差をどの程度縮小するかを評価すること。
• 非ターゲット発話者のP2Vマップがターゲット発話者のマップを上回るような例外的事例を特定し、発話者間適応の可能性を示すこと。
• データ効率的な発話者間適応を支援するための、視態マップの類似度を測る指標を提案すること。

提案手法

• 25個のP2Vマップを構築：全発話者の混同データを用いた1つのマルチ発話者マップ、各発話者に対して他の発話者のデータを用いた1つの発話者非依存マップ、各発話者に対して自身のデータを用いた1つの発話者固有マップ。
• HTKツールキットを用いて、3状態HMMと各状態に5成分のガウス混合を用い、強制同期とHERestによる11回の再推定を経てHMM分類器を学習。
• HBuildとHLStatsを用いてビグラム語彙ネットワークを構築し、単語正答率（Cw）を式1で定義された指標として評価：Cw = (N - D - S)/N。
• 妥当性を確保するため10分割交差検証を実施し、学習データとテストデータを分離。
• 英国英語のBEEP発音辞書を用い、孤立語彙（AVL2）と連続発話（RMAV）データセットの両方で結果を比較。
• 発話者間で視態マップの類似度を比較する指標を提案し、最小限のデータで効率的な適応が可能になるようにすることを目的とした。

実験結果

リサーチクエスチョン

• RQ1 連続的視覚発話において、発話者固有P2Vマップの性能は、発話者非依存およびマルチ発話者P2Vマップと比べてどの程度優れているか？
• RQ2 連続発話は、孤立語彙認識と比較して、発話者固有と発話者非依存の唇読解システム間の性能差をどの程度縮小するか？
• RQ3 非ターゲット発話者のP2Vマップが、自らの発話者固有マップを上回る特定の発話者が存在するか？これは発話者間適応の可能性を示唆する。
• RQ4 連環発音と言語的文脈は、発話者固有の視態マッピングの構造と有効性にどのように影響するか？
• RQ5 視態マップ間の類似度指標を用いることで、最小限のデータで1人の発話者から別の発話者への適応を効果的に予測できるか？

主な発見

• 発話者固有P2Vマップは、連続発話において発話者非依存およびマルチ発話者マップを顕著に上回り、RMAVデータセットにおける発話者12番では単語正答率（Cw）が最大8.04%向上した。
• 発話者固有と発話者非依存システム間の性能差は、孤立語彙と比較して連続発話では顕著に縮小された。特に、発話者非依存の結果がランダム推測より劣ることもあった。
• P2Vマップが他の発話者に対して半数以上で分類性能を向上させたのは2名（5番と12番）にとどまり、M12は12人のテスト発話者中11名で正の効果を示した。これは、発話者固有マッピングの例外的だが顕著な事例を示している。
• 連続発話では、孤立語彙と比較して平均5.78%の単語正答率向上が見られ、連環発音と言語的文脈がマッピング精度を向上させることを示唆している。
• 視態集合のばらつきおよび各集合内における個々の視態の寄与度が分類性能に顕著に影響することを同定した。これは、MS/SIマップを一般化しすぎると一般化性能が低下するリスクがあることを示している。
• 発話者非依存の唇読解が可能である証拠がある。特に、視覚的および言語的類似性がある発話者間では、非ターゲットマップがターゲットマップを上回るケースが存在し、これにより支持されている。