[論文レビュー] An open dataset for research on audio field recording archives: freefield1010

Dan Stowell, Mark D. Plumbley|arXiv (Cornell University)|Sep 20, 2013

Music and Audio Processing参考文献 6被引用数 38

ひとこと要約

本論文では、Freesoundアーカイブから収集された7,690件の標準化された音声クリップから構成される、無料でオープンなデータセットfreefield1010を紹介する。このデータセットは、研究用にクリエイティブ・コモンズライセンスのもとでキュレートされている。10分割交差検証実験とベースライン分類器を用いた分析により、'birdsong'などのタグは82%のAUCで予測可能であるのに対し、'__geotagged'のような擬似タグは58%のAUCにとどまり、メタデータの音声コンテンツからの予測可能性はやや低いことが示された。

ABSTRACT

We introduce a free and open dataset of 7690 audio clips sampled from the field-recording tag in the Freesound audio archive. The dataset is designed for use in research related to data mining in audio archives of field recordings / soundscapes. Audio is standardised, and audio and metadata are Creative Commons licensed. We describe the data preparation process, characterise the dataset descriptively, and illustrate its use through an auto-tagging experiment.

研究の動機と目的

• Freesound音声アーカイブから、再現可能な研究が行える音声フィールドレコーディング分析のための、無料でオープンで標準化されたデータセットの構築を目的とする。
• 特に音声アーカイブの文脈において、非音声的・非音楽的音声を対象とした大規模でオープンにライセンスされたデータセットの不足を補うことを目的とする。
• 多様で現実世界のデータセットを用いて、音声コンテンツから意味的タグの予測可能性を研究できるようにすることを目的とする。
• フィールドレコーディングにおける自動音声タギングおよびシーン分類手法の評価のためのベンチマークを提供することを目的とする。
• 既存のデータセットの制限を克服し、現実世界の多様性と標準化されたフォーマットおよびライセンスを組み合わせることを目的とする。

提案手法

• データセットは、Freesoundのレコーディングから作成され、'field recording'としてタグ付けされたものの中から、CC-BYまたはCC0ライセンスが適用されているものを選別することで、一貫したオープンライセンスを確保した。
• 音声クリップはフォーマット（44.1 kHz、16ビット、モノ）および継続時間（10秒）が標準化され、互換性を確保するとともに聴取者の疲労を軽減した。
• メタデータは保持され、元の著作者やURLリンクが含まれており、メタデータ分析のための2つの擬似タグ、'__geotagged'および'__ccby'が追加された。
• 10分割交差検証の設定が採用され、各タグについて9つのサブセットで分類器を学習し、1つのサブセットでテストした。評価指標としてAUCが用いられた。
• ベースライン二値分類器が各タグの存在・非存在を予測するために適用され、受信者操作特性（ROC）曲線およびAUCスコアを用いて性能が測定された。
• 実験のためのソースコードは公開されており、再現性を確保するとともに、さらなる研究を促進する。

実験結果

リサーチクエスチョン

• RQ1 音声の音響的特徴から、'bird'、'city'、'water'などの意味的タグを信頼性を持って予測できるか？
• RQ2 タグの予測可能性が、その意味的直接性（すなわち、音声の音響的特徴との関連性の明確さ）とどのように相関するか？
• RQ3 地理タグ付けやライセンスタイプといったメタデータ属性が、音声特徴からどれほど正確に推定可能か？
• RQ4 実際の多様なデータセットにおける、さまざまな種類のフィールドレコーディングにおいて、自動タギングの性能はどのように変化するか？
• RQ5 freefield1010のような標準化され、オープンなデータセットが、音声アーカイブにおける音声シーン分析およびデータマイニングの信頼できるベンチマークとして機能できるか？

主な発見

• 'birdsong'タグは82%の最高AUCスコアを記録し、音声コンテンツからの強い予測可能性を示しており、特定の自然音は顕著に識別可能であると示唆している。
• 意味的関連性がやや間接的なタグ、たとえば'city'や'people'は、それぞれ63%および65%のAUCスコアを示し、音響的相関が弱いことが示された。
• 擬似タグ'__geotagged'は58%のAUCを達成し、地理タグ付け済みとそうでないレコーディングの間で音声コンテンツの差が限定的である可能性を示唆しており、おそらく間接的な相関によるものと考えられる。
• '__ccby'擬似タグは58%のAUCを記録し、ライセンスメタデータに明確な音響的差異はほとんどないが、それでも偶然より高い性能を示している。
• AUCスコアの95%信頼区間は狭く、互いに明確に分離しており、タグ間の比較分析におけるデータセットの信頼性を裏付けている。
• データセットの規模と多様性は、音声タギングシステムの強固な評価を可能にし、タグの予測可能性における有意義な差を検出するのに十分な統計的パワーを有している。