[論文レビュー] The Spotify Podcasts Dataset

Ann Clifton, Aasish Pappu+5 more|arXiv (Cornell University)|Apr 8, 2020

Radio, Podcasts, and Digital Media参考文献 5被引用数 4

ひとこと要約

本論文では、約10万件のポッドキャストエピソードを含む大規模なデータセット、Spotify Podcast Datasetを紹介する。このデータセットには、生の音声と自動音声認識（ASR）トランスクリプトが含まれており、合計で47,000時間以上のトランスクリプト音声を含む。このデータセットは、従来の音声対テキストコーパスと比べて1桁大きい規模であり、ポッドキャスト固有の音声処理、情報検索、NLP分野における新しい研究を可能にする。

ABSTRACT

Podcasts are a relatively new form of audio media. Episodes appear on a regular cadence, and come in many different formats and levels of formality. They can be formal news journalism or conversational chat; fiction or non-fiction. They are rapidly growing in popularity and yet have been relatively little studied. As an audio format, podcasts are more varied in style and production types than, say, broadcast news, and contain many more genres than typically studied in video research. The medium is therefore a rich domain with many research avenues for the IR and NLP communities. We present the Spotify Podcast Dataset, a set of approximately 100K podcast episodes comprised of raw audio files along with accompanying ASR transcripts. This represents over 47,000 hours of transcribed audio, and is an order of magnitude larger than previous speech-to-text corpora.

研究の動機と目的

• NLPおよび情報検索分野におけるポッドキャスト固有の研究に向けた、大規模かつ多様な音声コーパスの不足を解消すること。
• 現代のポッドキャストのスタイル的・形式的多様性を捉えた、豊富で多様性に富んだデータセットを提供すること。これには、ニュース、チャット、フィクション、ノンフィクションの形式が含まれる。
• さまざまなポッドキャストジャンルや制作品質をカバーする、音声認識、音声理解、マルチモーダル分析の分野における研究を支援すること。
• オンデマンド音声メディアにおける話者の言語変異、話者スタイル、コンテンツの多様性に関する大規模な研究を可能にすること。

提案手法

• Spotifyプラットフォームから約10万件のポッドキャストエピソードを収集し、広範なジャンルと形式をカバーする。
• 各エピソードに対して、生の音声ファイルと対応する自動音声認識（ASR）トランスクリプトを含める。
• 形式的ジャーナリズム、非形式的会話、物語形式のストーリーテリングを含む、多様なポッドキャストタイプのデータを集約する。
• 47,000時間を超えるトランスクリプト音声を含むデータセットを構築し、既存の音声対テキストコーパスの規模を著しく拡大する。
• メタデータの標準化と音声とテキストの同期化を実施し、NLPおよびIRタスクにおける一貫した後続利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なポッドキャストコーパスは、自動音声認識システムの訓練および評価をどのように改善できるか？
• RQ2 オンデマンド音声メディアにおける話者の言語変異とスタイル的多様性について、どのような知見が得られるか？
• RQ3 非形式的で会話的、物語形式のポッドキャスト形式が、NLPモデルのパフォーマンスおよび一般化能力にどのように影響を与えるか？
• RQ4 このデータセットは、情報検索および音声理解分野におけるジャンル間・形式間の研究をどの程度サポートできるか？

主な発見

• 本データセットには約10万件のポッドキャストエピソードが含まれており、トランスクリプト音声の合計が47,000時間以上にのぼり、従来の音声対テキストコーパスと比べて1桁大きい規模である。
• 本データセットは、形式的ジャーナリズム、カジュアルな会話、フィクション、ノンフィクションを含む、広範なポッドキャスト形式をカバーしており、多様な研究応用を可能にする。
• 生の音声とASRトランスクリプトの両方を含むことにより、音声および言語処理モデルのエンドツーエンド評価と開発が可能になる。
• 本データセットの規模と多様性は、低リソースおよびマルチリンガルな環境におけるモデルの訓練およびベンチマークのための新たな機会を提供する。
• このような大規模で現実世界の音声コーパスの提供は、話者の言語理解、話者特徴の特定、コンテンツ分類に関する研究を支援する。