[논문 리뷰] Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning

Chen Chen, Nana Hou외 4명|arXiv (Cornell University)|2022. 03. 29.

Music and Audio Processing인용 수 9

한 줄 요약

이 논문은 사전 학습된 인코더를 사용하여 음성과 텍스트를 동시에 인코딩함으로써 상호작용적인 다중모달 표현을 학습하는 새로운 자동 음성 캡션 모델인 CLIP-AAC을 제안한다. 음성-텍스트 헤드를 통해 음성과 텍스트를 함께 처리하고, 음성과 텍스트 임베딩을 정렬하기 위해 대비 학습을 적용함으로써 CLIP-AAC는 Clotho 데이터셋에서 최신 기술 수준의 성능을 달성하여 모든 자연어 처리 평가 지표에서 강력한 베이스라인을 능가한다. 사전 학습과 대비 미세조정 모두에서 뚜렷한 성능 향상이 관찰된다.

ABSTRACT

Automated Audio captioning (AAC) is a cross-modal task that generates natural language to describe the content of input audio. Most prior works usually extract single-modality acoustic features and are therefore sub-optimal for the cross-modal decoding task. In this work, we propose a novel AAC system called CLIP-AAC to learn interactive cross-modality representation with both acoustic and textual information. Specifically, the proposed CLIP-AAC introduces an audio-head and a text-head in the pre-trained encoder to extract audio-text information. Furthermore, we also apply contrastive learning to narrow the domain difference by learning the correspondence between the audio signal and its paired captions. Experimental results show that the proposed CLIP-AAC approach surpasses the best baseline by a significant margin on the Clotho dataset in terms of NLP evaluation metrics. The ablation study indicates that both the pre-trained model and contrastive learning contribute to the performance gain of the AAC model.

연구 동기 및 목표

• 기존 자동 음성 캡션(AAC) 모델이 단일 모odal 음향 특징에만 의존함으로써 나타나는 열악한 성능 문제를 해결하기 위해.
• 인코딩 단계에서 두 모odal을 모두 활용하여 상호작용적인 표현을 학습함으로써 음성과 텍스트 간의 다중모달 정렬을 향상시키기 위해.
• 대비 학습을 통해 음성과 캡션 입력 간의 특징 품질과 의미적 대응성을 향상시키기 위해.
• 특히 저 supervision 환경에서, 이중 헤드 인코더를 갖춘 사전 학습된 음성-텍스트 모델의 효과성을 입증하기 위해.

제안 방법

• CLIP-AAC 모델은 음성 헤드(ESResNeXt 기반)와 텍스트 헤드(12층 Transformer)를 갖춘 이중 헤드 인코더를 사용하여 쌍화된 입력으로부터 공동의 음성-텍스트 임베딩을 추출한다.
• 음성 입력은 로그 파wer 스펙트로그램으로 변환되며, 2차원 합성곱과 듀얼 패스 잔여 블록을 거쳐 깊이 있는 음향 특징을 추출한다.
• 텍스트 입력은 토큰화되고 임bed딩되며, 레이어 정규화를 적용한 12층 Transformer를 통해 문맥 기반 텍스트 표현을 생성한다.
• 모델은 긍정적인 음성-텍스트 쌍을 정렬하고 부정적인 쌍을 분리하기 위해 대비 학습 손실 $L_{cl}$ 을 적용하며, 교차 엔트로피 손실과 균형을 이루기 위해 학습 가능한 계수 $\alpha$ 를 사용한다.
• 추론 단계에서는 캡션 정보가 없기 때문에 텍스트 헤드가 제거되고, 오직 음성 헤드만 디코더에 입력되어 캡션 생성이 이루어진다.
• 인코더는 AudioCLIP에서 초기화되어 Clotho 데이터셋에서 대비 학습과 자동 회귀적 지도 학습을 모두 사용하여 미세조정된다.

실험 결과

연구 질문

• RQ1 음성과 텍스트를 함께 처리하는 이중 헤드 인코더 아키텍처가 자동 음성 캡션을 위한 다중모달 표현 학습에 기여하는가?
• RQ2 음성과 텍스트 임베딩 간의 대비 학습이 음성 캡션 모델의 성능에 어떤 영향을 미치는가?
• RQ3 대규모 음성-텍스트 데이터에서 사전 학습한 모델이 후행 데이터셋에서 zero-shot 또는 few-shot 캡션 성능을 얼마나 향상시키는가?
• RQ4 사전 학습 모델과 대비 미세조정이 AAC 전체 성능 향상에 기여하는 상대적 기여도는 어느 정도인가?

주요 결과

• CLIP-AAC는 BLEU-n, METEOR, ROUGE-L, CIDEr, SPICE, SPIDEr를 포함한 모든 평가 지표에서 최고의 베이스라인을 초월하여 Clotho 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험 결과, AudioCLIP에서 초기화하고 음성-텍스트 헤드를 모두 미세조정하는 것이 무작위 또는 음성 전용 초기화보다 뚜렷한 성능 향상을 이룬다.
• 대비 학습 구성 요소가 성능 향상에 기여하며, 대비 손실의 계수 $\alpha = 0.2$ 에서 최적의 성능을 기록한다.
• 배치 크기를 16으로 늘임으로써 대비 학습에서 부정적 쌍의 다양성이 증가하여 성능 향상이 이루어진다.
• 코사인 유사도 행렬의 시각화 결과, 학습 후 진짜 음성-텍스트 쌍 간의 정렬이 강화됨을 확인할 수 있다.
• 모델는 대비 최적화를 통한 음성-텍스트의 공동 인코딩이 더 의미적으로 대응되고 강력한 다중모달 임베딩을 생성함을 보여준다.