[논문 리뷰] Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval

Yuma Koizumi, Yasunori Ohishi외 3명|arXiv (Cornell University)|2020. 12. 14.

Music and Audio Processing참고 문헌 24인용 수 21

한 줄 요약

이 논문은 음성 기반 유사 캡션 검색을 지침으로 사용하여 사전 훈련된 GPT-2 언어 모델을 활용해 캡션 생성을 위한 새로운 오디오 캡션 프레임워크를 제안한다. 음성 유사도 기반으로 훈련 데이터셋에서 관련 캡션을 검색하고 이를 GPT-2에 조건부로 적용함으로써, 특히 n-gram 정확도에서 뚜렷한 성능 향상을 달성하며, 모odal 불일치에도 불구하고 대규모 사전 훈련된 언어 모델을 오디오 캡션에 적합시킬 수 있음을 입증한다.

ABSTRACT

The goal of audio captioning is to translate input audio into its description using natural language. One of the problems in audio captioning is the lack of training data due to the difficulty in collecting audio-caption pairs by crawling the web. In this study, to overcome this problem, we propose to use a pre-trained large-scale language model. Since an audio input cannot be directly inputted into such a language model, we utilize guidance captions retrieved from a training dataset based on similarities that may exist in different audio. Then, the caption of the audio input is generated by using a pre-trained language model while referring to the guidance captions. Experimental results show that (i) the proposed method has succeeded to use a pre-trained language model for audio captioning, and (ii) the oracle performance of the pre-trained model-based caption generator was clearly better than that of the conventional method trained from scratch.

연구 동기 및 목표

• 오디오 캡션 훈련 데이터의 부족 문제를 대규모 사전 훈련된 언어 모델을 활용하여 해결하고자 한다.
• 입력 모odal이 텍스트 전용인 강력한 사전 훈련된 언어 모델(예: GPT-2)을 오디오 캡션에 활용할 수 있도록 하고자 한다.
• 사전 훈련된 언어 모델의 자동회귀 prior를 활용해 검색된 의미적으로 관련성이 높은 캡션을 조건부 맥락으로 사용함으로써 캡션 생성 품질을 향상시키고자 한다.
• 검색 보강된 생성 프레임워크를 사용하여 사전 훈련된 언어 모델이 다중모달 캡션 작업에서 얼마나 효과적인지 평가하고자 한다.

제안 방법

• 이 방법은 이중 단계로 구성된 계단식 시스템을 사용한다: 먼저, 검색 모듈이 음성 임베딩 기반으로 가장 유사한 훈련 캡션을 식별한다.
• 음성 임베딩는 트리플릿 손실을 사용한 대비 학습 목적으로 학습되어 검색 품질을 향상시킨다.
• 검색된 캡션은 고정된 GPT-2 언어 모델의 조건부 맥락으로 기능하며, 이 모델이 자동으로 순차적으로 최종 캡션을 생성한다.
• 디코더는 검색된 캡션과 이전에 생성된 토큰을 모두 조건으로 삼아 각 단어를 생성하며, 사전 훈련된 언어 모델의 자동회귀 prior를 활용한다.
• 음성 입력을 GPT-2에 직접 입력하지 않고, 검색된 캡션을 음성 입력과 텍스트 생성 사이의 다리로 사용함으로써 시스템을 구성한다.
• 프레임워크는 고정된 GPT-2와 임베딩 네트워크 위에 추가로 몇 개의 학습 가능한 레이어만을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 입력 모달이 텍스트 전용인 대규모 사전 훈련된 언어 모델(GPT-2)이 모달 불일치에도 불구하고 오디오 캡션에 효과적으로 적용될 수 있는가?
• RQ2 직접적인 음성 입력 없이 음성 입력을 어떻게 의미적으로 언어 모델에 조건부로 통합할 수 있는가?
• RQ3 검색된 의미적으로 유사한 캡션을 맥락으로 사용하면 생성된 오디오 캡션의 품질이 향상되는가?
• RQ4 검색 보강된 GPT-2 시스템의 성능은 직접 훈련된 전통적인 엔드 투 엔드 모델과 비교해 어떻게 되는가?

주요 결과

• 음성 기반 캡션 검색을 조건부 맥락으로 사용함으로써, 모달 불일치 문제를 극복하고 사전 훈련된 GPT-2 모델을 오디오 캡션에 성공적으로 활용하였다.
• GPT-2 기반 생성자의 오라클 성능은 직접 훈련된 전통적 방법보다 뚜렷하게 뛰어나며, 특히 BLEU-1 및 BLEU-2 지표에서 두각을 나타냈다.
• 대부분의 지표에서 인간 수준에 가까운 성능을 달성했으며, 평가 지표의 3개에서 인간 캡션을 초월하는 결과를 보였다.
• BLEU-4 및 CIDEr에서의 성능 격차는 웹 기반으로 훈련된 GPT-2와 훈련 캡션 간의 분포 차이를 시사하며, 미세조정을 통해 향상 가능성을 시사한다.
• 검색 모듈의 정확도가 총 캡션 품질에 큰 영향을 미치며, 잘못된 검색(예: '버스' 대신 '차량')은 잘못된 캡션 생성을 유도했다.
• 연구는 오디오 기반 지침 캡션 검색이 향후 향상에 가장 유망한 구성 요소임을 확인하였으며, 이는 최종 캡션 품질에 가장 큰 영향을 미친다.