[논문 리뷰] Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation

Sergi Perez-Castanos, Javier Naranjo-Alcazar외 2명|arXiv (Cornell University)|2020. 06. 27.

Music and Audio Processing참고 문헌 24인용 수 6

한 줄 요약

이 논문은 주어진 음성 입력에 대해 감마톤 필터 베이스의 표현 방식과 잔차 신경망(ResNets)을 사용한 인코더-디코더 아키텍처에 주목하는 음성 캡셔닝 시스템을 제안한다. 주어진 방법은 데이터 증강 또는 단어 임베딩 없이도 성능을 향상시켜, ResNet-101을 사용할 경우 SPIDEr 점수 0.150을 기록하며 기준 모델을 초월한다.

ABSTRACT

Automated audio captioning is machine listening task whose goal is to describe an audio using free text. An automated audio captioning system has to be implemented as it accepts an audio as input and outputs as textual description, that is, the caption of the signal. This task can be useful in many applications such as automatic content description or machine-to-machine interaction. In this work, an automatic audio captioning based on residual learning on the encoder phase is proposed. The encoder phase is implemented via different Residual Networks configurations. The decoder phase (create the caption) is run using recurrent layers plus attention mechanism. The audio representation chosen has been Gammatone. Results show that the framework proposed in this work surpass the baseline system in challenge results.

연구 동기 및 목표

• 고도화된 음성 표현 방식과 딥 러닝 아키텍처를 활용해 기존 기준 모델을 향상시키는 새로운 음성 캡셔닝 시스템을 개발하는 것.
• Gammatone 스펙트로그램을 사용할 때 잔차 학습(ResNet 변종)이 음성 캡셔닝에 있어 인코더로써 효과적인지 평가하는 것.
• 다양한 ResNet의 깊이가 음성 캡처 생성 품질에 미치는 영향을 여러 자동 평가 지표를 통해 평가하는 것.
• 데이터 증강 또는 임베딩 없이도 경쟁 가능한 성능을 달성할 수 있는지 조사하는 것.

제안 방법

• 음성 입력은 기존의 멜-스펙트로그램 대신 64개의 주파수 필터를 가진 감마톤 필터 베이스 표현으로 변환된다.
• 인코더는 다양한 ResNet 설정(ResNet-50, -101, -152, Wide-101)을 활용해 감마톤 스펙트로그램에서 계층적인 음성 특징을 추출한다.
• 디코더는 주목성 메커니즘을 갖춘 게이트드 리커런트 유닛(GRU)을 사용해 자연어 캡처를 토큰 단위로 생성한다.
• 학습 과정은 티처 포싱과 교차 엔트로피 손실을 활용해 캡처 생성 과정을 최적화한다.
• 시스템 평가는 Clotho 데이터셋에서 표준 평가 지표인 BLEU, METEOR, ROUGE-L, CIDEr, SPICE, SPIDEr를 사용해 수행된다.
• 모든 캡처 후처리 작업은 공정한 비교를 위해 기준 모델과 동일한 절차를 따르며 수행된다.

실험 결과

연구 질문

• RQ1 감마톤 필터 베이스 표현 방식을 사용할 경우 멜-스펙트로그램 대비 음성 캡처닝 성능에 어떤 영향을 미치는가?
• RQ2 다양한 ResNet 아키텍처(깊이 및 너비)가 음성 캡처닝 품질에 어떤 영향을 미치는가?
• RQ3 단어 임베딩 또는 데이터 증강 없이도 음성 캡처닝에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 주목성 메커니즘이 제안된 인코더-디코더 아키텍처에서 캡처 생성 품질을 어떻게 향상시키는가?

주요 결과

• ResNet-101 인코더는 SPIDEr 점수 0.150을 기록하며 기준 모델을 초월했고, 도전 대회에서 31개 시스템 중 13위를 기록했다.
• ResNet-101을 사용한 시스템은 모든 평가 지표에서 가장 우수한 성능을 보였으며, 기준 모델 대비 SPIDEr 점수 0.005 향상되었다.
• ResNet-50는 BLEU-n 지표에서 가장 뛰어난 성능을 보였으며, 기준 캡처와의 n-gram 일치도가 높았다.
• ResNet-152와 Wide-101은 CIDEr와 SPICE 지표에서 ResNet-101과 유사한 성능을 보였으며, 더 깊은 아키텍처임에도 불구하고 유사한 캡처 품질을 확보했다.
• 모든 모델에서 문법적으로 올바른 캡처를 생성했지만, 복잡한 음성 환경에서는 'Showers are being eaten'과 같은 환각적 이벤트를 생성하는 경우가 있었다.
• 데이터 증강 및 단어 임베딩 없이도 뛰어난 성능을 달성했으며, 이는 감마톤-ResNet-주목성 파이프라인의 강건성을 시사한다.