[논문 리뷰] Language-based Audio Retrieval Task in DCASE 2022 Challenge

Huang Xie, Samuel Lipping외 1명|arXiv (Cornell University)|2022. 09. 20.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 DCASE 2022 챌린지의 언어 기반 오디오 검색 작업(하위 과제 6B)의 결과를 제시한다. 이 작업에서는 자연어 쿼리에 기반해 오디오 클립을 순서 매기는 시스템을 평가한다. 최고 성능을 보인 시스템은 mAP@10 점수 0.276를 기록하여 베이스라인을 크게 앞서며, 텍스트와 오디오 간의 다중모odal 정렬을 모델링하는 데의 진전을 보여준다.

ABSTRACT

Language-based audio retrieval is a task, where natural language textual captions are used as queries to retrieve audio signals from a dataset. It has been first introduced into DCASE 2022 Challenge as Subtask 6B of task 6, which aims at developing computational systems to model relationships between audio signals and free-form textual descriptions. Compared with audio captioning (Subtask 6A), which is about generating audio captions for audio signals, language-based audio retrieval (Subtask 6B) focuses on ranking audio signals according to their relevance to natural language textual captions. In DCASE 2022 Challenge, the provided baseline system for Subtask 6B was significantly outperformed, with top performance being 0.276 in mAP@10. This paper presents the outcome of Subtask 6B in terms of submitted systems' performance and analysis.

연구 동기 및 목표

• 자연어 캡션과 오디오 신호 간의 의미적 관계를 모델링하는 계산 시스템을 개발하기 위해.
• 자연어 쿼리를 사용해 관련 오디오 클립을 검색하는 과제를 해결하기 위해, 이는 오디오 캡션과는 다름.
• 언어 기반 오디오 검색을 위한 표준화된 벤치마크에서 시스템 성능을 평가하고 비교하기 위해.
• DCASE 2022 챌린지에서 베이스라인 시스템과 최고 성능 제출물 간의 성능 격차를 분석하기 위해.

제안 방법

• 작업은 오디오 클립과 자연어 쿼리를 동일한 임bedding 공간에 매핑하는 모델을 훈련시키는 것을 포함한다.
• 모델 평가에는 순위 성능에 대한 표준 지표인 10개 이내 평균 정밀도(mAP@10)가 사용되었다.
• 참가자들은 대조적 학습과 트랜스포머 기반 인코더를 포함한 다양한 딥러닝 아키텍처를 적용했다.
• 최고 성능을 보인 시스템은 DCASE 2022 데이터셋에 맞춰 미세조정된 사전 훈련된 오디오 및 텍스트 인코더를 활용했다.
• 일부 시스템에서는 쿼리 어휘와 관련된 오디오 세그먼트를 정렬하기 위해 교차 어텐션 메커니즘을 사용했다.
• 평가에서는 다양한 오디오 및 텍스트 기술서에 대한 제로샷 및 피셔샷 일반화 능력을 중점적으로 다뤘다.

실험 결과

연구 질문

• RQ1 기본 시스템 대비 자유형 자연어 기술서에 기반해 오디오 클립을 얼마나 잘 검색할 수 있는가?
• RQ2 다중모달 오디오-텍스트 검색에서 성능 향상에 기여하는 아키텍처 선택은 무엇인가?
• RQ3 사전 훈련된 오디오 및 텍스트 인코더가 언어 기반 오디오 검색 과제에 얼마나 일반화되는가?
• RQ4 현재 방법의 성능 한계는 DCASE 2022 언어 기반 오디오 검색 벤치마크에서 어느 정도인가?

주요 결과

• 최고 성능 시스템은 mAP@10 점수 0.276를 기록하여 제공된 베이스라인 시스템을 크게 앞섰다.
• 미세조정된 사전 훈련된 오디오 및 텍스트 인코더를 사용한 시스템은 향상된 일반화 및 정렬 능력을 보였다.
• 대조적 학습과 교차 어텐션 메커니즘은 순위 성능 향상에 기여했다.
• 최고 시스템과 베이스라인 간의 성능 격차는 크며, 향후 방법론적 혁신의 여지가 있음을 시사한다.
• 결과적으로, 텍스트와 오디오 간의 세밀한 의미 정렬을 모델링하는 것이 높은 검색 정확도에 필수적임을 시사한다.
• 벤치마크는 오디오 검색에서 다양한 자연어 쿼리와 모호한 기술서 처리의 과제를 드러냈다.