[論文レビュー] LIP-RTVE: An Audiovisual Database for Continuous Spanish in the Wild

David Gimeno-Gómez, Carlos-D. Martínez-Hinarejos|arXiv (Cornell University)|Nov 21, 2023

Speech and Audio Processing被引用数 5

ひとこと要約

本論文では、放送テレビから収集した連続的で自然なスペイン語発話の13時間にわたる、半自動的にアノテートされた音声視覚データベース、LIP-RTVEを紹介する。このデータベースは、実環境下での音声視覚認識およびリップリーディング研究を目的として設計されており、音響、視覚、音声視覚の複数モodalのアプローチを用いた隠れマルコフモデル（HMM）を用いたベースライン結果が報告されており、マルチモーダル統合による性能向上が示されている。

ABSTRACT

Speech is considered as a multi-modal process where hearing and vision are two fundamentals pillars. In fact, several studies have demonstrated that the robustness of Automatic Speech Recognition systems can be improved when audio and visual cues are combined to represent the nature of speech. In addition, Visual Speech Recognition, an open research problem whose purpose is to interpret speech by reading the lips of the speaker, has been a focus of interest in the last decades. Nevertheless, in order to estimate these systems in the currently Deep Learning era, large-scale databases are required. On the other hand, while most of these databases are dedicated to English, other languages lack sufficient resources. Thus, this paper presents a semi-automatically annotated audiovisual database to deal with unconstrained natural Spanish, providing 13 hours of data extracted from Spanish television. Furthermore, baseline results for both speaker-dependent and speaker-independent scenarios are reported using Hidden Markov Models, a traditional paradigm that has been widely used in the field of Speech Technologies.

研究の動機と目的

• スペイン語用に大規模で公開可能な音声視覚データベース、特に制約のない現実世界の環境での不足を補うこと。
• スペイン語における音声視覚認識および視覚的発話認識システムの学習と評価に役立てるリソースを提供すること。
• 放送テレビから得た多様で現実的なデータを提供することで、マルチモーダル発話処理分野の研究を支援すること。
• 話者固有および話者非依存の状況において、隠れマルコフモデル（HMM）を用いてベースラインのパフォーマンス指標を確立すること。
• 標準化されたスペイン語データセット上で、音響、視覚、音声視覚の入力モダリティを比較可能な形で行えるようにすること。

提案手法

• データベースは、語彙的および視覚的多様性に富んだ13時間のスペイン語テレビ放送から構成された。
• データ収集には、品質を確保するための半自動的アノテーションを用い、発話および唇の動きについて手動による検証が行われた。
• 音声は16 kHz、モノラル、16ビット深度のWAV形式で記録された。映像は25 fps、RGB PNG形式で撮影された。
• 注目領域（ROI）抽出は顔、口、広い口領域に焦点を当て、それぞれの平均サイズは55×58、27×16、45×30ピクセルであった。
• 音響（MFCC）、視覚（外観および運動特徴）、音声視覚統合のためのHMMベースのシステムによる特徴抽出が行われた。
• HMMを用いた強制アライメントを用いて、話者固有および話者非依存の両設定下でベースラインモデルの学習と評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 音声と視覚特徴のマルチモーダル統合は、単一モーダル手法と比較して、連続的で自然なスペイン語発話認識の性能をどの程度向上させるか？
• RQ2 現実世界のスペイン語音声視覚環境下で、話者固有と話者非依存の認識性能のギャップはどの程度か？
• RQ3 大規模で制約のないスペイン語音声視覚データベースにおいて、従来のHMMベースのモデルはどの程度有効か？
• RQ4 騒音や劣化した音声条件下において、視覚特徴のみの性能は発話認識にどの程度寄与するか？
• RQ5 放送テレビから得たデータの多様性と自然さは、音声視覚発話認識におけるモデルの一般化性能にどのような影響を与えるか？

主な発見

• LIP-RTVEデータベースには、13時間の連続的スペイン語発話が含まれており、10,352の発話、1,168,087フレームの映像が、323人の話者をカバーしている。
• データセットには9,308の固有語、654,368の音素、801,830の文字が含まれており、発話速度は0.58〜9.73語/秒の範囲にわたる。
• ベースライン結果では、HMMを用いた音声視覚統合が、話者固有および話者非依存の両設定において、単一モーダルな音響または視覚モデルを著しく上回ることが示された。
• 視覚特徴のみの性能は、話者非依存の状況で約45％の語誤り率（WER）を示し、視覚的発話認識分野における改善の余地が明確に示された。
• 音響特徴のみのHMMでは、話者固有の条件下で約15％のWERを達成し、マルチモーダルシステムの強い下限としての役割を果たしている。
• 視覚特徴の統合により、話者非依存の状況でWERが最大20％まで低下し、実環境下でのマルチモーダル統合の頑健性が裏付けられた。