[논문 리뷰] Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning

Khoa N. A. Nguyen, Konstantinos Drossos외 1명|arXiv (Cornell University)|2020. 07. 06.

Music and Audio Processing참고 문헌 17인용 수 5

한 줄 요약

이 논문은 음성 캡션 작업을 위한 다층 밀도 양방향 RNN 인코더 내에서 시간적 서브샘플링을 제안하여 각 RNN 레이어 이후로 시퀀스 길이를 줄여 장기적인 음성 패턴을 더 잘 포착하고자 한다. Clotho 데이터셋에서의 결과는 모든 메트릭에서 일관된 향상을 보이며, 특히 SPIDEr에서 +1.3 향상된 M=8에서 최고 성능을 기록하였다.

ABSTRACT

Audio captioning is the task of automatically creating a textual description for the contents of a general audio signal. Typical audio captioning methods rely on deep neural networks (DNNs), where the target of the DNN is to map the input audio sequence to an output sequence of words, i.e. the caption. Though, the length of the textual description is considerably less than the length of the audio signal, for example 10 words versus some thousands of audio feature vectors. This clearly indicates that an output word corresponds to multiple input feature vectors. In this work we present an approach that focuses on explicitly taking advantage of this difference of lengths between sequences, by applying a temporal sub-sampling to the audio input sequence. We employ a sequence-to-sequence method, which uses a fixed-length vector as an output from the encoder, and we apply temporal sub-sampling between the RNNs of the encoder. We evaluate the benefit of our approach by employing the freely available dataset Clotho and we evaluate the impact of different factors of temporal sub-sampling. Our results show an improvement to all considered metrics.

연구 동기 및 목표

• 음성 입력(수천 개의 특징 벡터)과 텍스트 캡션(수십 개의 단어) 사이의 시퀀스 길이 불일치 문제를 해결하기 위해 음성 캡션에서의 접근.
• 인코더에서 시간 해상도를 명시적으로 감소시켜 장기적인 음성 패턴 학습을 향상시킬 수 있는지 조사하기 위해.
• 잠재 표현에 계층적 서브샘플링을 적용하여 순서-순서 음성 캡션 모델의 성능을 향상시키기 위해.
• 표준화된 벤치마크를 사용하여 다양한 서브샘플링 요소가 캡션 메트릭에 미치는 영향을 평가하기 위해.

제안 방법

• 인코더의 각 양방향 RNN 레이어 이후에 시간적 서브샘플링을 적용하여 시퀀스 길이를 요소 M로 감소시킨다.
• 고정 길이의 벡터 출력을 인코더에서 얻은 후, RNN 기반 디코더를 사용하여 캡션을 생성한다.
• DCASE 2020 베이스라인과 동일한 아키텍처를 유지하되, 인코더 레이어 사이에 서브샘플링만 추가한다.
• 서브샘플링은 모든 레이어에 균일하게 적용되어 다음 RNN 레이어에 입력하기 전에 시간 스텝 수를 줄인다.
• 이 방법은 순서-순서 프레임워크를 유지하나, 인코더가 주목할 만한 장기적인 음성 이벤트에 집중하는 능력을 향상시킨다.
• 서브샘플링은 최종 인코더 레이어 이후가 아니라 다음 RNN 레이어 이전에 적용되어 계층적 표현 학습을 유지한다.

실험 결과

연구 질문

• RQ1 음성 특징 시퀀스의 시간적 서브샘플링이 음성 캡션 성능을 향상시키는가?
• RQ2 서브샘플링 요소 M의 선택이 다양한 메트릭에서 생성된 캡션의 품질에 어떻게 영향을 미치는가?
• RQ3 Clotho 데이터셋에서 성능을 최대화하는 최적의 서브샘플링 요소가 존재하는가?
• RQ4 서브샘플링은 단일 단어에 해당하는 장기적인 음성 패턴을 포착하는 데 모델의 능력을 향상시키는가?
• RQ5 서브샘플링은 추론 속도와 시퀀스 길이 감소에 어떤 영향을 미치는가?

주요 결과

• 모든 평가 메트릭(BLEU, METEOR, CIDEr, SPICE, SPIDEr)이 M ≥ 2일 때 M=1보다 향상되었다.
• 최고의 SPIDEr 점수 0.067는 M=8에서 기록되었으며, 베이스라인 대비 1.3점 향상되었다.
• 서브샘플링 요소 M=8과 M=16은 입력 대비 인코더 출력 길이를 각각 98.43%와 99.60% 감소시켰다.
• 추론 시간은 M=1일 때 58.81초에서 M=16일 때 20.42초로 감소하여 뚜렷한 속도 향상을 보였다.
• 모델은 개, 새, 사람 등의 음성 소스와 걷기, 숨 쉬기 등의 행동을 성공적으로 식별했지만, 언어 모델링 능력은 여전히 약했다.
• 성능 향상이 M 증가와 함께 단순히 증가하지 않아 압축과 정보 유지 사이의 상충 관계가 있음을 시사했다.