[論文レビュー] A Whisper transformer for audio captioning trained with synthetic captions and transfer learning

Marek Kadlčík, Adam Hájek+2 more|arXiv (Cornell University)|May 15, 2023

Music and Audio Processing被引用数 6

ひとこと要約

本論文では、AudioSetからの合成キャプションと事前学習済み音声-to-テキストモデルからの転移学習を活用して、音声キャプション生成のためのファインチューニング済みWhisperトランスフォーマーを提案する。合成AudioSetキャプション、AudioCaps、Clothoの混合データで事前学習し、Clothoでレイヤーの固定を伴うファインチューニングを行うことで、最大のモデル（whisper-large-v2）がClotho開発評価セットでSPIDErスコア0.2794を達成し、最先端の性能を実現した。

ABSTRACT

The field of audio captioning has seen significant advancements in recent years, driven by the availability of large-scale audio datasets and advancements in deep learning techniques. In this technical report, we present our approach to audio captioning, focusing on the use of a pretrained speech-to-text Whisper model and pretraining on synthetic captions. We discuss our training procedures and present our experiments' results, which include model size variations, dataset mixtures, and other hyperparameters. Our findings demonstrate the impact of different training strategies on the performance of the audio captioning model. Our code and trained models are publicly available on GitHub and Hugging Face Hub.

研究の動機と目的

• 事前学習済み音声-to-テキストモデルからの転移学習を用いて、音声キャプションの性能を向上させること。
• AudioSetラベルから導出された合成キャプションが、音声キャプションモデルの事前学習にどの程度有効であるかを調査すること。
• モデルサイズ、データセット混合比、正則化戦略がキャプション生成性能に与える影響を評価すること。
• 今後の音声キャプションの向上に向け、データスケーリングとより強い監視信号の活用を検討すること。

提案手法

• AudioSetからの合成キャプションと、AudioCapsおよびClothoの人的アノテーションキャプションを用いて、音声キャプションタスクにファインチューニングされた事前学習済みWhisperエンコーダデコーダトランスフォーマーを適用した。
• AudioSetの階層的オントロジーをたどることで合成キャプションを生成し、親クラスの接頭語を付加して自然言語の記述に変換した。
• 音声を16 kHzにリサンプリングし、元のWhisperハイパーパrameterを用いたWhisperFeatureExtractorを用いてログメルスペクトログ램に変換した。
• デュアルプレフィックス戦略を採用：タスクおよび言語を示す標準的なWhisperプレフィックスに加え、データセットとキャプションタスク（キャプション対キーワード）を示すカスタムプレフィックスを追加した。
• 全モデルサイズにおいて最適なデコーディング戦略として、5ビームのビームサーチデコーディングを採用した。
• ファインチューニング中にレイヤーの固定を実施し、特にすべてのフィードフォワード層（fc1）を固定することで、より小さなClothoデータセットでの過学習を防止した。

実験結果

リサーチクエスチョン

• RQ1 AudioSetからの合成キャプションで事前学習することは、単なるファインチューニングと比較して、音声キャプションの性能にどの程度影響を与えるか？
• RQ2 事前学習段階での、合成（AudioSet）と人的アノテーション（AudioCaps、Clotho）データの最適混合比は何か？
• RQ3 モデルサイズは音声キャプションタスクのパフォーマンスにどのように影響するか？
• RQ4 正則化戦略として、重み減衰、ドロップアウト、レイヤーの固定のうち、どれがClothoデータセットでの一般化性能を最も高めるか？
• RQ5 AudioSet Strongのような時系列的に強い監視信号を用いた合成キャプション生成により、キャプション品質はさらに向上するか？

主な発見

• 最大のモデル、whisper-large-v2は、Clotho開発評価スプリットで最高のパフォーマンスを達成し、SPIDErスコア0.2794を記録した。
• 合成AudioSetキャプション、AudioCaps、Clotho（12:3:1）の混合データで事前学習することで、単なるファインチューニングよりも顕著に性能が向上した。
• 5ビームのビームサーチは、グリーディーやより高いビーム数の戦略を上回り、全モデルサイズで最高のSPIDErスコアを達成した。
• Clothoデータセットで過学習を防ぐために、ファインチューニング中にレイヤーの固定が、重み減衰やドロップアウトよりも効果的であった。
• 事前学習段階で大規模な合成データセット（AudioSetサブセット）に高い重みを置くことで、過学習の緩和と一般化性能の向上が達成された。
• Clotho開発評価セットでは、SacreBLEUスコア16.50、CIDErスコア0.4331を達成し、複数の指標で優れた性能を示した。