[논문 리뷰] Exploring Train and Test-Time Augmentations for Audio-Language Learning

Eungbeom Kim, Jin-Hee Kim외 6명|arXiv (Cornell University)|2022. 10. 31.

Speech Recognition and Synthesis인용 수 7

한 줄 요약

이 논문은 음성-텍스트 쌍 데이터 증강 방법인 PairMix를 제안하며, 웨이브폼 수준 및 멜 스펙트로그램 수준의 믹스업을 결합하고 텍스트를 연결하여 음성-언어 학습을 향상시킨다. 또한 예측을 여러 네트워크 레이어에서 통합하는 다중 수준의 테스트 시점 증강 전략인 Multi-TTA를 도입하여 음성 캡션에서 47.5 SPIDEr를 달성했으며, 이는 기준 모델 대비 18.2% 상대적 향상이며, 음성 캡션 및 검색 작업 전반에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

In this paper, we aim to unveil the impact of data augmentation in audio-language multi-modal learning, which has not been explored despite its importance. We explore various augmentation methods at not only train-time but also test-time and find out that proper data augmentation can lead to substantial improvements. Specifically, applying our proposed audio-language paired augmentation PairMix, which is the first multi-modal audio-language augmentation method, outperforms the baselines for both automated audio captioning and audio-text retrieval tasks. To fully take advantage of data augmentation, we also present multi-level test-time augmentation (Multi-TTA) for the test-time. We successfully incorporate the two proposed methods and uni-modal augmentations and achieve 47.5 SPIDEr on audio captioning, which is an 18.2% relative increase over the baseline. In audio-text retrieval, the proposed methods also show an improvement in performance as well.

연구 동기 및 목표

• 데이터 증강이 음성-언어 학습에 미치는 영향을 조사하는 것. 이 분야는 잠재력은 크지만 아직 탐색이 부족한 분야이다.
• 기존 음성-언어 데이터셋의 규모가 제한되어 있는 문제, 예를 들어 약 40K개의 샘플만을 포함하는 AudioCaps와 같은 데이터셋을 해결하기 위해 증강을 통해 데이터 효율성을 높이는 것.
• 학습 중에 음성-텍스트 관계를 유지하는 새로운 쌍화된 다중 모odal 증강 방법인 PairMix를 제안하는 것.
• 기존 연구에서 자주 간과되는 음성-언어 모델에서의 테스트 시점 증강(TTA)을 탐색하고 개선하는 것.
• 아키텍처에 종속되지 않는 일반화된 프레임워크를 개발하여 음성 캡션 및 음성-텍스트 검색 작업 전반에서 성능 향상을 이끌어내는 것.

제안 방법

• PairMix는 음성 클립에 웨이브폼 수준 또는 멜 스펙트로그램 수준의 믹스업을 확률적으로 적용하고, 해당하는 텍스트 캡션을 연결하여 새로운 음성-텍스트 쌍을 생성한다.
• 이 방법은 베르누이 분포를 따르는 게이트(γ)를 사용하여 웨이브폼 수준 및 스펙트로그램 수준 믹스업의 출력을 혼합함으로써 증강 샘플의 다양성을 보장한다.
• 텍스트 증강은 선택된 입력 쌍의 캡션을 연결하여 수행되며, 의미적 일관성을 유지한다.
• Multi-TTA는 기존의 TTA를 일반화하여 다중 중간 레이어에서 예측을 통합함으로써 정확도와 내성 강도를 향상시킨다.
• 프레임워크는 다양한 레이어에서의 예측을 평균화하는 다중 수준 집계 전략을 사용하며, 테스트 시점에 일관되게 입력 증강을 적용한다.
• 모든 모델에 동일하게 SpecAugment를 적용하고, 음성 캡션 및 검색 작업 모두에 대해 이전 연구에 기반한 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 음성-언어 학습에서 이원적 증강 대비 쌍화된 음성-텍스트 증강이 성능에 어떤 영향을 미치는가?
• RQ2 PairMix와 같은 공동 음성-텍스트 증강 방법이 기존의 음성 전용 또는 텍스트 전용 증강 전략을 초월할 수 있는가?
• RQ3 테스트 시점 증강(TTA)이 음성-언어 작업의 성능을 향상시키는가? 만약 그렇다면, 성능 포화를 극복하기 위해 어떻게 최적화할 수 있는가?
• RQ4 다중 레이어 TTA, 즉 여러 네트워크 레이어에서 예측을 통합하는 방법이 기존의 단일 레이어 TTA를 능가할 수 있는가?
• RQ5 아키텍처 변경 없이도 모델 스케일링 없이 PairMix와 Multi-TTA가 얼마나 성능 향상에 기여할 수 있는가?

주요 결과

• 유니모달 음성 증강과 함께 PairMix를 적용한 결과, 자동 음성 캡션에서 46.6 SPIDEr를 달성했으며, 이는 기준 모델 대비 15.9% 상대적 향상이며, 5배 작고도 기존 최고 성능을 초월하는 결과이다.
• PairMix와 Multi-TTA를 동시에 적용한 결과 47.5 SPIDEr를 달성했으며, 이는 기준 모델 대비 18.2% 상대적 향상이며, 상호 보완적인 성능 향상을 입증했다.
• 음성-텍스트 검색에서는 R@10이 82.7%에서 87.2%로 향상되었고, 텍스트-음성 검색에서는 81.3%에서 83.2%로 상승했다.
• Multi-TTA는 항상 기존의 TTA를 능가하며, 증강 강도(τ)가 증가함에 따라 효과적으로 성능을 향상시키는 반면, 단일 레이어 TTA는 포화 상태에 이르게 된다.
• 제거 실험 결과, 웨이브폼 수준 및 멜 스펙트로그램 수준에서의 확률적 믹스업(즉, PairMix 방식)이 고정 수준 또는 연결 기반 대안보다 우수한 것으로 확인되었다.
• PairMix에서 생성된 캡션은 겹치는 이벤트를 더 잘 포착하는 데에 강점이 있으며, 기준 모델 및 연결 기반 PairMix는 종종 이러한 이벤트를 놓치거나 잘못 표현하는 경향이 있다.