[論文レビュー] STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events

Kazuki Shimada, Archontis Politis+10 more|arXiv (Cornell University)|Jun 15, 2023

Speech and Audio Processing被引用数 7

ひとこと要約

本稿では、マルチチャネル音声、同期された動画、音声イベントの空間時間的アノテーションを備えた、現実世界の音響環境を対象とした新しい音声視覚データセットSTARSS23を紹介する。本研究では、視覚的オブジェクト位置を活用して方向性推定（DOA）を向上させる音声視覚連合音声イベント局所化・検出（SELD）タスクを提案し、モーションキャプチャデータから得られた人間確認済みDOAラベルを用いて、音声のみのベースラインと比較して顕著な性能向上を示した。

ABSTRACT

While direction of arrival (DOA) of sound events is generally estimated from multichannel audio data recorded in a microphone array, sound events usually derive from visually perceptible source objects, e.g., sounds of footsteps come from the feet of a walker. This paper proposes an audio-visual sound event localization and detection (SELD) task, which uses multichannel audio and video information to estimate the temporal activation and DOA of target sound events. Audio-visual SELD systems can detect and localize sound events using signals from a microphone array and audio-visual correspondence. We also introduce an audio-visual dataset, Sony-TAu Realistic Spatial Soundscapes 2023 (STARSS23), which consists of multichannel audio data recorded with a microphone array, video data, and spatiotemporal annotation of sound events. Sound scenes in STARSS23 are recorded with instructions, which guide recording participants to ensure adequate activity and occurrences of sound events. STARSS23 also serves human-annotated temporal activation labels and human-confirmed DOA labels, which are based on tracking results of a motion capture system. Our benchmark results demonstrate the benefits of using visual object positions in audio-visual SELD tasks. The data is available at https://zenodo.org/record/7880637.

研究の動機と目的

• 音声視覚連合音声イベント局所化・検出（SELD）のための、正確な空間的・時間的アノテーションを備えた現実世界のマルチモーダルデータセットが不足している問題に対処すること。
• 視覚モalityが複雑で自然な音響シーンにおける方向性推定（DOA）の精度をどのように向上させるかを調査すること。
• モーションキャプチャシステムから得た人間確認済みDOAラベルを用いて、信頼性の高い音声視覚連合SELDシステムの評価のためのベンチマークデータセットを提供すること。
• 現実的で重複し、動的な音声イベントを用いた、音声視覚対応、音源分離、クロスモodal学習の研究を可能にすること。

提案手法

• 16の実際の部屋で57名の参加者を対象に、マイクロホンアレイによるマルチチャネル音声収録と、360°カメラによる同期動画収録を実施した。
• 誘導付きの指示に従って録音を行い、歩行音、会話、掃除機など多様で自然で重複する音声イベントを確保した。
• 音声源の物理的位置を追跡するためのモーションキャプチャシステムを用い、各音声イベントの真値DOAラベルを生成した。
• 各フレームに対して、ターゲット音声クラスの時間的活性化とDOAをアノテートし、人間レーティングによる検証を実施した。
• 音声と動画入力を用いてモデルを学習させ、空間時間的音声イベント活動とDOAを予測する音声視覚連合SELDのベンチマークを構築した。
• データセットをZenodoを通じてMITライセンスで公開し、DOI 10.5281/zenodo.7709051を介して公開アクセスと拡張性を確保した。

実験結果

リサーチクエスチョン

• RQ1 視覚情報の統合は、現実世界の音声視覚シーンにおける音声イベント局所化・検出の精度をどのように向上させるか？
• RQ2 重複するか一時的な音声イベントに対して、視覚的オブジェクト位置はDOA推定の曖昧さをどの程度低減するか？
• RQ3 STARSS23で学習した音声視覚モデルは、移動する音源を含む複雑で動的な環境において、音声のみのモデルを上回る性能を示せるか？
• RQ4 モーションキャプチャシステムから得た人間確認済みDOAラベルは、現実世界の音響環境においてどの程度信頼性があるか？
• RQ5 非合成の現実データ上で、音声視覚統合によるSELDタスクの性能向上は音声のみのベースラインと比較してどの程度顕著か？

主な発見

• STARSS23を用いた音声視覚連合SELDシステムは、音声のみのモデルと比較して顕著に高い局所化精度を達成しており、視覚モダリティが空間的曖昧さを低減する価値を示している。
• 本データセットには、16の部屋にまたがる57名の参加者による7時間以上の現実世界録音が含まれており、音声イベントの自然な時間的ダイナミクスと空間的移動が捉えられている。
• DOAラベルはモーションキャプチャ追跡に基づき、人間レーティングによる確認が行われており、物理的音源位置との高い整合性と信頼性が保証されている。
• ベンチマーク結果から、視覚的ヒントが特に一時的または重複するイベント（例：歩行音、ノック音）の検出・局所化性能を顕著に向上させていることが示された。
• STARSS23は、音声視覚連合SELD、スピーカーのDOA推定、音源局所化、クロスモダリティリtrievalなど、幅広いタスクをサポートしている。
• 本データセットは、Zenodo（DOI 10.5281/zenodo.7709051）を通じてMITライセンスで公開されており、再現性のある研究とコミュニティの貢献を可能としている。