[논문 리뷰] CL4AC: A Contrastive Loss for Audio Captioning

Xubo Liu, Qiushi Huang외 5명|arXiv (Cornell University)|2021. 07. 21.

Music and Audio Processing참고 문헌 29인용 수 16

한 줄 요약

이 논문은 쌍화된 오디오-텍스트 데이터에서 자기지도 학습을 활용하여 저자료 환경에서 교차 모달 간 정렬과 표현 품질을 향상시키는 대비 손실 프레임워크인 CL4AC을 제안한다. 훈련 중에 일치하는 및 일치하지 않는 오디오-캡션 쌍을 대비함으로써 CL4AC은 강력한 베이스라인 대비 CIDEr 점수에서 최대 3.37% 상대적 향상을 달성하였으며, 외부 데이터나 전이 학습 없이도 효과성을 입증하였다.

ABSTRACT

Automated Audio captioning (AAC) is a cross-modal translation task that aims to use natural language to describe the content of an audio clip. As shown in the submissions received for Task 6 of the DCASE 2021 Challenges, this problem has received increasing interest in the community. The existing AAC systems are usually based on an encoder-decoder architecture, where the audio signal is encoded into a latent representation, and aligned with its corresponding text descriptions, then a decoder is used to generate the captions. However, training of an AAC system often encounters the problem of data scarcity, which may lead to inaccurate representation and audio-text alignment. To address this problem, we propose a novel encoder-decoder framework called Contrastive Loss for Audio Captioning (CL4AC). In CL4AC, the self-supervision signals derived from the original audio-text paired data are used to exploit the correspondences between audio and texts by contrasting samples, which can improve the quality of latent representation and the alignment between audio and texts, while trained with limited data. Experiments are performed on the Clotho dataset to show the effectiveness of our proposed approach.

연구 동기 및 목표

• 자동 오디오 캡션(AAC)에서 데이터 부족 문제를 해결하여 오디오-텍스트 간 정렬이 열악하고 잠재 표현이 최적화되지 않는 것을 방지한다.
• Clotho 데이터셋과 같이 오디오 클립이 단지 6,974개 뿐인 저자료 환경에서 모델의 일반화 능력과 강인성을 향상시킨다.
• 외부 대규모 데이터셋이나 전이 학습에 의존하지 않고 기존의 원본 오디오-텍스트 쌍만을 활용하는 자기지도 학습 기반의 대비 학습 접근법을 개발한다.
• 추가적인 감독 신호 없이도 대비 학습을 통해 오디오 및 텍스트 표현의 품질과 교차 모달 정렬을 향상시킨다.
• 전이 학습이나 강화 학습에 의존하는 기존 AAC 시스템의 대안으로서 자료 효율적인 접근법을 제공한다. 이는 안정성 문제 또는 대규모 사전 학습 모델의 필요성을 피할 수 있다.

제안 방법

• 기존의 오디오-텍스트 쌍에서 자기지도 학습을 활용하여 표현 학습을 향상시키는 대비 학습 프레임워크인 CL4AC을 제안한다.
• 같은 배치에서 오디오 클립을 일치하지 않는 캡션과 조합하여 음성 샘플을 생성함으로써 훈련을 위한 대비 쌍을 구성한다.
• 양성(일치하는) 오디오-캡션 쌍 간 유사도를 최대화하고, 음성(일치하지 않는) 쌍 간 유사도를 최소화하는 대비 손실 함수를 설계한다.
• 사전 학습된 PANN 인코더와 Transformer 디코더를 갖춘 순차적-순차적 모델에 대비 손실을 통합한다.
• 표준 교차 엔트로피 손실(캡션 생성을 위한)과 표현 학습을 위한 대비 손실을 조합한 공동 목적 함수를 사용해 모델을 훈련한다.
• 추론 시에는 탐욕적 디코딩을 사용하여 <sos>에서 시작하여 <eos> 또는 최대 길이(35 토큰)에 도달할 때까지 캡션을 생성한다.

실험 결과

연구 질문

• RQ1 Clotho 데이터셋과 같이 저자료 환경에서 대비 학습이 오디오 캡션 성능을 향상시킬 수 있는가?
• RQ2 외부 데이터나 전이 학습 없이 제안된 CL4AC 프레임워크는 오디오-텍스트 정렬과 표현 품질을 어떻게 향상시키는가?
• RQ3 표준 베이스라인 대비 대비 손실은 생성된 캡션의 유창성, 의미적 충실도, n-그램 일치도에 얼마나 기여하는가?
• RQ4 자기지도 대비 목표는 저자원 오디오 캡션 환경에서 더 강인하고 일반화 능력이 뛰어난 표현을 이끌어내는가?
• RQ5 표준 인코더-디코더 아키텍처에 대비 손실을 효과적으로 통합할 수 있는가? 이는 훈련 안정성이나 추론 품질을 저하시키지 않는다.

주요 결과

• CL4AC은 베이스라인 시스템 대비 BLEU-1, BLEU-2, BLEU-3, BLEU-4 각각 0.55%, 1.16%, 1.80%, 2.88%의 상대적 향상을 기록하였다.
• CIDEr 점수는 베이스라인 대비 3.37% 상대적으로 향상되어 생성된 캡션과 진짜 값 간의 의미적 충실도와 정렬 수준 향상을 시사한다.
• SPIDEr 점수는 베이스라인 대비 2.98% 상대적으로 향상되어 생성된 캡션의 문법적 유창성과 의미 일관성이 향상됨을 보여준다.
• METEOR 제외 모든 지표에서 향상되었으며, 특히 고차원 n-그램 일치도와 캡션 전용 지표에서 가장 두드러진 성과를 기록하였다.
• 결과적으로 원본 쌍화된 데이터에서만 대비 학습을 수행해도 전이 학습이나 강화 학습 없이도 캡션 성능을 크게 향상시킬 수 있음을 입증하였다.
• 제거 분석 결과, 저자료 환경에서도 대비 손실이 표현 품질과 정렬에 의미 있는 기여를 한다는 점을 확인하였다.