[論文レビュー] AVA-Speech: A Densely Labeled Dataset of Speech Activity in Movies

Sourish Chaudhuri, Joseph Roth+9 more|arXiv (Cornell University)|Aug 2, 2018

Speech and Audio Processing参考文献 28被引用数 4

ひとこと要約

本稿では、190部の映画にわたる約46時間にわたる、音声活動の公開済みで密なラベルが付与されたデータセットAVA-Speechを紹介する。フレーム単位のラベルとして、クリアな音声、音楽を伴う音声、ノイズを伴う音声を含む。最先端の音声および視覚モデルを評価し、音声モデルはノイズ条件下で性能が低下するが、視覚的音声分類（VSC）は安定した性能を示すことが判明。本研究は、今後の音声・視覚音声検出分野におけるベンチマークを確立する。

ABSTRACT

Speech activity detection (or endpointing) is an important processing step for applications such as speech recognition, language identification and speaker diarization. Both audio- and vision-based approaches have been used for this task in various settings, often tailored toward end applications. However, much of the prior work reports results in synthetic settings, on task-specific datasets, or on datasets that are not openly available. This makes it difficult to compare approaches and understand their strengths and weaknesses. In this paper, we describe a new dataset which we will release publicly containing densely labeled speech activity in YouTube videos, with the goal of creating a shared, available dataset for this task. The labels in the dataset annotate three different speech activity conditions: clean speech, speech co-occurring with music, and speech co-occurring with noise, which enable analysis of model performance in more challenging conditions based on the presence of overlapping noise. We report benchmark performance numbers on AVA-Speech using off-the-shelf, state-of-the-art audio and vision models that serve as a baseline to facilitate future research.

研究の動機と目的

• 実世界で多様なメディア状況を想定した音声活動検出（VAD）のための標準的で公開可能なベンチマークデータセットの不足に対処すること。
• 音声のみおよび音声・視覚両方のVADモデルの評価を支援するため、動画および音声のラベルが付与された大規模で時間的に密なデータセットを構築すること。
• クリアな音声、音楽を伴う音声、ノイズを伴う音声という3つの困難な状況下での音声活動を明示的にラベル付けすることで、モデルの耐性の分析を可能にすること。
• 今後の比較のため、市販の最先端音声および視覚モデルを用いたベースライン性能結果を提供すること。
• 将来的な共同音声・視覚モデリング研究および関連タスクへの応用を支援する共通のベンチマークを確立すること。

提案手法

• データセットは、YouTubeから取得した185本の映画クリップ（15分ずつ）から構築され、合計で約46時間の動画をカバーしており、多様な会話状況を反映するように選定された。
• 人間のレーティング担当者が、フレーム単位で密なラベル付けを実施し、フレームごとに「NoSpeech」「CleanSpeech」「SpeechWithMusic」「SpeechWithNoise」と分類した。分類基準は事前に定義された指針に基づいた。
• 音声ベースのモデルは、10msのメルスペクトログ램入力を用い、WebRTC VAD、小さな畳み込みニューラルネットワーク（tiny_320）、および大きなResNet-50ベースのモデル（resnet_960）を評価した。
• 視覚的音声分類（VSC）は、顔の検出と追跡を実行し、その後、顔のスナップショットを3フレームのシーケンスとして用い、軽量な畳み込みニューラルネットワークを適用して音声活動を予測した。
• モデルの性能評価は、全条件で固定された偽陽性率（FPR = 0.315）の下で実施され、各条件および全体の真陽性率（TPR）が報告された。
• 受信器操作特性（ROC）曲線は、分類閾値を変化させることで、さまざまな運用ポイントにおける性能を評価するために作成された。また、1スレッドCPU上での遅延も測定した。

実験結果

リサーチクエスチョン

• RQ1 最先端の音声および視覚音声検出モデルは、背景ノイズ状態が異なる実世界の多様な映画データセット上で、どのように性能を発揮するか？
• RQ2 背景ノイズ（例：音楽や環境ノイズ）は、音声のみの音声活動検出モデルの性能をどの程度低下させるか？
• RQ3 音声モデルが失敗する状況下でも、視覚的音声分類モデルは一貫した性能を維持できるか？
• RQ4 固定された偽陽性率（FPR）で評価された場合、音声モデルと視覚モデルの性能は、実世界での導入制約を反映してどの程度異なるか？
• RQ5 これらのモデルの推論遅延はどの程度で、リアルタイムシステムへの実用的導入にどのような影響を与えるか？

主な発見

• WebRTC VADはクリアな音声では真陽性率（TPR）が0.786を達成したが、ノイズを伴う音声では0.706に低下し、全体でも0.733にとどまった。これは背景ノイズに対して感受性が高いことを示している。
• tiny_320音声モデルはクリアな音声でTPRが0.965、音楽を伴う音声で0.826、ノイズを伴う音声で0.623を記録し、ノイズ条件下で顕著な性能低下を示した。
• より大きなresnet_960モデルはクリアな音声で最高のTPR 0.992、音楽を伴う音声で0.944を記録したが、ノイズを伴う音声では0.787に低下した。これは音声モデルがノイズ条件下で性能を低下させることを確認した。
• 視覚的音声分類（VSC）モデルはクリアな音声でTPR 0.588、音楽を伴う音声で0.568、ノイズを伴う音声で0.556を記録し、条件の違いに関わらず比較的安定した性能を示した。
• 絶対的な性能は低かったが、VSCはノイズタイプにかかわらず一貫した性能を示し、困難な音響環境下での耐性があると考えられる。
• VSCモデルの遅延は40.0 msであり、音声モデル（0.06–2.23 ms）に比べて顕著に高かった。これは主に顔検出および追跡のオーバーヘッドに起因する。