[論文レビュー] Exploring Train and Test-Time Augmentations for Audio-Language Learning

Eungbeom Kim, Jin-Hee Kim+6 more|arXiv (Cornell University)|Oct 31, 2022

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、波形レベルおよびメルスペクトログ램レベルのミックスアップを組み合わせ、テキストの連結を加えることで、音声・言語学習を向上させる新しい音声・テキストペアデータ拡張手法PairMixを提案する。さらに、複数のネットワーク層における予測を統合する多層的テスト時拡張戦略Multi-TTAを導入し、音声キャプションタスクで47.5のSPIDErを達成した。これはベースライン比18.2%の相対的向上であり、音声キャプションおよびリtrievalタスクの両方で顕著な向上を示している。

ABSTRACT

In this paper, we aim to unveil the impact of data augmentation in audio-language multi-modal learning, which has not been explored despite its importance. We explore various augmentation methods at not only train-time but also test-time and find out that proper data augmentation can lead to substantial improvements. Specifically, applying our proposed audio-language paired augmentation PairMix, which is the first multi-modal audio-language augmentation method, outperforms the baselines for both automated audio captioning and audio-text retrieval tasks. To fully take advantage of data augmentation, we also present multi-level test-time augmentation (Multi-TTA) for the test-time. We successfully incorporate the two proposed methods and uni-modal augmentations and achieve 47.5 SPIDEr on audio captioning, which is an 18.2% relative increase over the baseline. In audio-text retrieval, the proposed methods also show an improvement in performance as well.

研究の動機と目的

• データ拡張が音声・言語学習に与える影響を調査すること。これはその潜在的可能性にもかかわらず、まだ十分に検討されていない分野である。
• AudioCapsのような既存の音声・言語データセット（約40Kサンプル）のスケールが限られている問題に対処し、拡張によるデータ効率の向上を図ること。
• トレーニング中に音声・テキストの関係性を保持する新しいペアドマルチモーダル拡張手法PairMixを提案すること。
• テスト時拡張（TTA）の検討と改善を図ること。これは先行研究においてしばしば無視されている。
• アーキテクチャ依存性のない汎用的なフレームワークを構築し、音声キャプションおよび音声・テキストリtrievalの両タスクで性能を向上させること。

提案手法

• PairMixは、音声クリップに対して波形レベルまたはメルスペクトログラムレベルのミックスアップを確率的に適用し、対応するテキストキャプションを連結することで、新たな音声・テキストペアを生成する。
• 出力の混合にベルヌーイ分布に従うゲート（γ）を用いることで、波形およびスペクトログラムレベルのミックスアップからの出力をブレンドし、拡張サンプルの多様性を確保する。
• テキスト拡張は、選択された入力ペアのキャプションを連結することで実施され、意味的整合性が保持される。
• Multi-TTAは、従来のTTAを拡張し、複数の中間層での予測を集約することで、耐性と性能スケーリングを向上させる。
• フレームワークは、異なる層からの予測を平均化する多段階集約戦略を採用しており、テスト時において入力拡張を一貫して適用する。
• すべてのモデルに一様にSpecAugmentを適用し、音声キャプションおよびリtrievalタスクの両方で、先行研究に基づいてハイパーパramータを調整した。

実験結果

リサーチクエスチョン

• RQ1 音声・言語学習におけるペアド音声・テキスト拡張は、単モーダル拡張と比較して性能にどのように影響を与えるか？
• RQ2 PairMixのような共同音声・テキスト拡張法は、従来の音声専用またはテキスト専用の拡張戦略を上回ることができるか？
• RQ3 テスト時拡張（TTA）は音声・言語タスクの性能を向上させるか？ もしそうならば、性能の飽和を克服するにはどのように最適化できるか？
• RQ4 複数のネットワーク層での予測を集約する多段階TTAは、従来の単一層TTAを上回ることができるか？
• RQ5 アーキテクチャの変更やモデルスケーリングなしに、PairMixおよびMulti-TTAはどれほど性能を向上させることができるか？

主な発見

• 単一モーダル音声拡張を用いたPairMixは、自動音声キャプションで46.6のSPIDErを達成し、ベースライン比15.9%の相対的向上を示した。これは、5倍小さいモデルでも先行SOTAを上回った。
• PairMixとMulti-TTAを併用すると、47.5のSPIDErを達成し、ベースライン比18.2%の相対的向上を示した。これは相乗効果を示している。
• 音声からテキストへのリtrievalでは、R@10が82.7%から87.2%に上昇し、テキストから音声へのリtrievalでは、81.3%から83.2%に上昇した。
• Multi-TTAは、従来のTTAを一貫して上回り、拡張強度（τ）の増加に伴い効果的にスケーリングする。一方、単一層TTAは飽和する傾向にあった。
• アブレーションスタディの結果、波形およびメルスペクトログラムレベルでの確率的ミックスアップ（PairMixのもの）が、固定レベルや連結ベースの代替手法を上回ることが確認された。
• PairMixで生成されたキャプションは、重複するイベントを捉える能力が向上しており、ベースラインやconcat PairMixと比較して、このようなイベントを逃すか、誤って表現する傾向が少なかった。