[논문 리뷰] Investigating Local and Global Information for Automated Audio Captioning with Transfer Learning

Xuenan Xu, Heinrich Dinkel외 3명|arXiv (Cornell University)|2021. 02. 23.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 국소적인 소리 이벤트를 위해 음성 태깅(AT)과 전반적인 음성 맥락을 위해 음향 환경 분류(ASC)를 활용하는 전이 학습 프레임워크를 제안한다. CNN 기반 음성 인코더를 AT(특히 불균형 데이터)에서 미리 훈련시킴으로써, Clotho와 Audiocaps에서 모든 여덟 가지 평가 지표에서 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 국소 정보와 추상적 임베딩이 전역 맥락이나 시간적 모델링보다 더 중요하다는 것을 시사한다.

ABSTRACT

Automated audio captioning (AAC) aims at generating summarizing descriptions for audio clips. Multitudinous concepts are described in an audio caption, ranging from local information such as sound events to global information like acoustic scenery. Currently, the mainstream paradigm for AAC is the end-to-end encoder-decoder architecture, expecting the encoder to learn all levels of concepts embedded in the audio automatically. This paper first proposes a topic model for audio descriptions, comprehensively analyzing the hierarchical audio topics that are commonly covered. We then explore a transfer learning scheme to access local and global information. Two source tasks are identified to respectively represent local and global information, being Audio Tagging (AT) and Acoustic Scene Classification (ASC). Experiments are conducted on the AAC benchmark dataset Clotho and Audiocaps, amounting to a vast increase in all eight metrics with topic transfer learning. Further, it is discovered that local information and abstract representation learning are more crucial to AAC than global information and temporal relationship learning.

연구 동기 및 목표

• 음성 캡션에서 흔히 기술되는 음성 주제의 계층적 구조를 조사하여, 국소적(소리 이벤트)과 전역적(음향 환경, 추상 지식) 정보를 구분한다.
• 에이다프티브 AAC 훈련의 과제를 해결하기 위해, 인코더가 명시적 감독 없이 다양한 청각 개념을 학습할 수 있도록 한다.
• 소스 작업인 음성 태깅(AT)을 통한 국소 정보 및 음향 환경 분류(ASC)를 통한 전역 정보 미리 훈련이 후속 AAC 성능을 향상시키는지 평가한다.
• 어느 유형의 미리 훈련(국소 대 전역)과 어느 인코더 아키텍처(CNN 대 CRNN)가 캡션 품질 향상에 가장 기여하는지 규명한다.

제안 방법

• 국소 주제(엔티티, 동사, 물리적 성질을 포함한 소리 이벤트)와 전역 주제(장소, 추상적 추론, 정서적 표현)로 분류하는 계층적 음성 주제 모델을 제안한다.
• 전이 학습을 통해 공유된 음성 인코더를 두 가지 소스 작업에서 미리 훈련한다: 국소적인 소리 이벤트를 포착하기 위한 음성 태깅(AT), 전역 음향 환경을 모델링하기 위한 음향 환경 분류(ASC).
• CNN10 및 CRNN5 아키텍처를 평가하여 추상적 임베딩 또는 시간적 동역학을 추출하는 능력을 분석한다. 인코더는 미리 훈련된 AT 또는 ASC 모델의 가중치로 초기화된다.
• 표준 인코더-디코더 아키텍처와 주의 메커니즘을 갖춘 GRU 디코더를 사용하여, 미리 훈련된 인코더를 대상 AAC 작업에서 엔드 투 엔드로 미세조정한다.
• 대규모 데이터셋(불균형 및 균형 잡힌 AT/ASC 데이터)에서 미리 훈련을 수행하며, 검증 성능 기반 조기 정지 전략을 적용한다.
• Clotho와 Audiocaps 벤치마크에서 표준 평가 지표(BLEU@1-4, ROUGE, METEOR, CIDEr, SPICE)를 사용하고, 비드 서치(비드 크기=3)를 적용한다.

실험 결과

연구 질문

• RQ1 소리 이벤트와 음향 환경과 같은 국소적 및 전역적 음성 주제가 음성 캡션 품질에 어떻게 기여하는가?
• RQ2 국소 정보를 위한 음성 태깅(AT) 또는 전역 정보를 위한 음향 환경 분류(ASC)에서 미리 훈련하면 자동 음성 캡션 성능이 향상되는가?
• RQ3 AAC에 대해 미세조정할 때, CNN10(추상적 임베딩)과 CRNN5(시간적 모델링) 중 어느 인코더 아키텍처가 더 우수한 성능을 낼 수 있는가?
• RQ4 훈련 데이터의 규모와 균형(예: 불균형 대 균형 AT)이 후속 캡션 성능에 얼마나 영향을 미치는가?
• RQ5 AAC에서 시간적 관계 모델링보다 추상 표현 학습이 더 중요한가?

주요 결과

• 특히 불균형 데이터를 사용한 음성 태깅(AT)에서의 미리 훈련이, Clotho와 Audiocaps에서 모든 여덟 가지 평가 지표에서 다른 모든 방법보다 뛰어난 성능을 기록하며 최신 기술 수준(SOTA)을 달성하였다.
• AT 미리 훈련을 적용한 CNN10 아키텍처가 가장 우수한 성능을 보였으며, 이는 AAC에 있어 추상적 임베딩 학습이 시간적 모델링보다 더 유익하다는 것을 시사한다.
• 국소 정보(AT)는 전역 정보(ASC)보다 더 중요하다는 것이 확인되었으며, AT 미리 훈련은 조건이 유사한(약 60시간) 데이터셋을 사용할 때조차도 ASC 미리 훈련보다 성능 향상을 지속적으로 이끌었다.
• CRNN5는 초기 훈련에서 CNN10보다 우수한 성능을 보였지만, AAC에 대해 미세조정할 때는 최소한의 성능 향상을 보였으며, 이는 시간적 모델링이 특징 추상화만큼 중요하지 않다는 것을 시사한다.
• 더 많은 미리 훈련 데이터를 사용할수록 성능이 점진적으로 향상되었으며, 특히 AT에서 두드러졌다. 이는 대규모이고 다양한 음성 태깅 데이터로부터의 지식 전이가 캡션 품질 향상에 기여한다는 것을 확인한다.
• 최고의 성능을 낸 모델은 이전의 최신 기술 수준 결과를 초월하였으며, Clotho에서 키워드 예측(KWP)을 사용한 결과와 Audiocaps에서 AudioSet VGGish 특징을 사용한 결과를 모두 뛰어넘었다.