[논문 리뷰] Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information

Zhongjie Ye, Helin Wang외 2명|arXiv (Cornell University)|2021. 10. 12.

Music and Audio Processing참고 문헌 22인용 수 11

한 줄 요약

이 논문은 다중 모달 음성 캡션 모델인 MAAC을 제안한다. 이 모델은 CNN 인코더에서 유도한 청각적 특징과 사전 훈련된 关键어 인코더에서 유도한 의미 정보, 그리고 이전에 생성된 단어들을 새로운 다중 모달 어텐션 메커니즘을 통해 융합한다. 모델은 CIDEr-D 최적화 이후 Clotho 데이터셋에서 SOTA 성능을 달성하여 CIDEr-D 점수를 41.9에서 49.1로 향상시켰다.

ABSTRACT

Automated audio captioning (AAC) has developed rapidly in recent years, involving acoustic signal processing and natural language processing to generate human-readable sentences for audio clips. The current models are generally based on the neural encoder-decoder architecture, and their decoder mainly uses acoustic information that is extracted from the CNN-based encoder. However, they have ignored semantic information that could help the AAC model to generate meaningful descriptions. This paper proposes a novel approach for automated audio captioning based on incorporating semantic and acoustic information. Specifically, our audio captioning model consists of two sub-modules. (1) The pre-trained keyword encoder utilizes pre-trained ResNet38 to initialize its parameters, and then it is trained by extracted keywords as labels. (2) The multi-modal attention decoder adopts an LSTM-based decoder that contains semantic and acoustic attention modules. Experiments demonstrate that our proposed model achieves state-of-the-art performance on the Clotho dataset. Our code can be found at https://github.com/WangHelin1997/DCASE2021_Task6_PKU

연구 동기 및 목표

• 기존의 자동 음성 캡션(AAC) 모델이 청각적 특징에만 의존하고 의미적 맥락을 忽视하는 한계를 해결하기 위해.
• 핵심어 및 이전에 예측된 단어와 같은 의미 정보를 디코딩 과정에 통합함으로써 캡션 품질을 향상시키기 위해.
• 문장 생성 중에 청각적 및 의미적 특징을 효과적으로 융합할 수 있는 새로운 다중 모달 어텐션 메커니즘을 설계하기 위해.
• 교차 엔트로피와 강화 학습을 함께 최적화하여 Clotho 데이터셋에서 SOTA 성능을 달성하기 위해.
• 비교 실험을 통해 의미 정보가 캡션 품질 향상에 기여하는지 검증하기 위해.

제안 방법

• 지표 캡션에 포함된 명사와 동사를 기반으로 한 다중-핫 벡터 레이블을 사용하여 ResNet38 기반의 사전 훈련된 핵심어 인코더를 미세조정한다.
• 핵심어 인코더는 캡션에서 주목할 만한 청각적 개념(예: '새', '울음소리')를 탐지하도록 훈련되어 의미적 지도를 제공한다.
• LSTM 기반 디코더는 청각적 특징(모델의 CNN 인코더에서 유도)과 의미적 특징(핵심어 및 이전 디코딩 단계의 은닉 상태)을 모두 고려하는 다중 모달 어텐션 모듈을 통합한다.
• 다중 모달 어텐션 메커니즘은 쿼리, 키, 밸류 프로젝션을 사용하여 청각적 및 의미적 표현을 융합하여 컨텍스트 벡터를 계산한다.
• 모델 전체는 두 단계로 훈련된다: 첫 번째 단계에서는 핵심어 인코더를 고정한 채 교차 엔트로피 손실을 사용하고, 두 번째 단계에서는 CIDEr-D 점수를 보상으로 사용하는 강화 학습(PPO)을 통해 미세조정한다.
• 모델의 강건성과 일반화 능력을 향상시키기 위해 SpecAugment, Mixup, 레이블 스무딩, 선생 강요 기법과 같은 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 핵심어와 이전에 예측된 단어에서 유도한 의미 정보를 통합함으로써 음성 캡션의 품질을 향상시킬 수 있는가?
• RQ2 제안된 다중 모달 어텐션 메커니즘이 표준 어텐션과 비교해 캡션 성능에 어떤 영향을 미치는가?
• RQ3 의미적 특징(핵심어)과 이전에 예측된 단어 중 어느 것이 어텐션 메커니즘에서 더 큰 기여를 하는가?
• RQ4 다양한 어텐션 헤드 간에 의미 어텐션 모듈을 공유하면 성능 향상이 이루어지는가?
• RQ5 사전 훈련된 의미적 및 청각적 표현의 융합이 Clotho 데이터셋에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• CIDEr-D 최적화 이후 MAAC 모델은 Clotho 데이터셋에서 CIDEr-D 점수 49.1을 기록하여 이전 SOTA 성능보다 크게 향상되었다.
• 비교 실험 결과, 의미 어텐션 모듈에서 이전에 예측된 단어만 사용하는 경우 성능 향상이 미미한 것으로 나타났으며, 이는 잘못된 예측에서 기인한 오류 전파 때문일 것이다.
• 의미 어텐션 모듈에서 핵심어만 사용하는 모델는 수렴하지 못했으며, 이는 핵심어만으로는 의미 관계를 효과적으로 모델링할 수 없음을 시사한다.
• 핵심어와 이전에 예측된 단어를 모두 융합하는 다중 모달 어텐션 메커니즘이 가장 높은 성능을 기록하여 두 요소가 상호 보완적인 역할을 한다는 것을 입증한다.
• 다양한 어텐션 헤드 간에 의미 어텐션 모듈을 공유함으로써 CIDEr-D 점수가 추가로 향상되었으며, 이는 파rameter 공유의 아키텍처적 이점이 있음을 시사한다.
• 시각화 결과는 디코딩 과정에서 모델이 맥락 인식 방식으로 관련 의미적 개념(예: '새', '울음소리')을 동적으로 주목하고 있음을 확인했다.