[論文レビュー] Audio Captioning Using Sound Event Detection

Ayşegül Özkaya Eren, Mustafa Sert|arXiv (Cornell University)|Oct 4, 2021

Music and Audio Processing参考文献 13被引用数 8

ひとこと要約

本稿では、事前学習済み音声特徴（PANNs）とWord2Vec埋め込みを統合することで、音声キャプションの品質を向上させる音声キャプションモデルを提案する。PANN特徴と検出された音声イベントを連結したBiGRUベースのエンコーダ・デコーダアーキテクチャを用い、Clotho V2データセットにおいて、すべての指標でベースラインを大きく上回る性能を達成し、CIDErおよびSPIDErスコアで40%以上の向上を達成した。

ABSTRACT

This technical report proposes an audio captioning system for DCASE 2021 Task 6 audio captioning challenge. Our proposed model is based on an encoder-decoder architecture with bi-directional Gated Recurrent Units (BiGRU) using pretrained audio features and sound event detection. A pretrained neural network (PANN) is used to extract audio features and Word2Vec is selected with the aim of extracting word embeddings from the audio captions. To create semantically meaningful captions, we extract sound events from the audio clips and feed the encoder-decoder architecture with sound events in addition to PANNs features. Our experiments on the Clotho dataset show that our proposed method significantly achieves better results than the challenge baseline model across all evaluation metrics.

研究の動機と目的

• 生の音声特徴を超える意味的豊かな音声イベント情報の統合により、音声キャプションの性能を向上させること。
• 既存の音声キャプションモデルが、出来事、シーン、オブジェクト間の文脈的関係を捉えられていないという限界を是正すること。
• 事前学習済み音声埋め込み（PANNs）と音声イベント検出を組み合わせることで、より記述的かつ正確なキャプションを生成する有効性を検証すること。
• 複数の自動評価指標において、DCASE 2021 Task 6のベースラインモデルを上回ること。

提案手法

• システムは、96msのハミング窓を用い、50%重複のあるスペクトログラムから2048次元の音声特徴を抽出するために、PANNs（Wavegram-Logmel-CNN14）モデルを用いる。
• 音声イベントは、PANNsの最終層の確率を閾値処理（0.1の閾値）することで検出され、時間フレームごとに527クラスのイベント確率が得られる。
• 意味的類似性と埋め込みの整合性を向上させるために、検出されたイベントを単語レベルのコンponent（例：'Scary Music' → ['Scary', 'Music']）にトークン化する。
• 検出されたイベントはワンホットエンコーディングにより2値ベクトルに変換され、エンコーダの入力としてPANN特徴と連結される。
• エンコーダは2層のBiGRU（32および64ユニット）を用い、音声特徴とイベントベクトルを処理する一方、別個のGRU（128ユニット）が部分的キャプションを符号化する。
• キャプションの単語はWord2Vec埋め込み（256次元）で表現され、符号化されたキャプションは音声およびイベント特徴と連結され、128ユニットのGRUとソフトマックス出力によりデコードされる。

実験結果

リサーチクエスチョン

• RQ1 検出された音声イベントを統合することで、音声キャプションの意味的質と正確性が向上するか？
• RQ2 PANN特徴と音声イベントベクトルの融合は、音声特徴のみを用いる場合と比較して、キャプション性能にどのように影響するか？
• RQ3 音声キャプションの文脈において、Word2Vec埋め込みの使用が、キャプション生成にどの程度向上効果をもたらすか？
• RQ4 提案されたモデルは、複数の標準評価指標においてDCASE 2021ベースラインを上回るか？

主な発見

• 提案モデルはCIDErスコア0.328を達成し、Clotho V2ベースライン（0.075）と比較して335%の向上を示し、基準キャプションとの意味的整合性が著しく向上していることを示している。
• モデルはSPIDErスコア0.242を達成し、ベースライン（0.051）と比較して375%の増加を示し、シーングラフベースのキャプション評価で優れた性能を示している。
• モデルはBLEU-1をベースラインの0.378から0.586に向上させ、生成キャプションにおけるn-gram精度が向上していることを示している。
• モデルはMETEORスコア0.214を達成し、ベースライン（0.078）と比較して174%の向上を示しており、キャプション一致における再現率と精度が向上していることを示している。
• モデルはROUGE-Lスコア0.444を達成し、ベースライン（0.263）と比較して68.8%の増加を示しており、最長共通部分列の整合性が向上していることを示している。
• 結果は、すべての指標で一貫的かつ顕著な向上を示しており、音声イベント検出が意味的豊かさとキャプション品質を向上させることを確認している。