[논문 리뷰] WaveTransformer: A Novel Architecture for Audio Captioning Based on Learning Temporal and Time-Frequency Information

An Cong Tran, Konstantinos Drossos외 1명|arXiv (Cornell University)|2020. 10. 21.

Music and Audio Processing참고 문헌 21인용 수 9

한 줄 요약

WaveTransformer는 전용 1차원 확장 컨볼루션과 2차원 CNN을 사용하여 음성의 시간적 패턴과 시간-주파수 패턴을 명시적으로 모델링하고, 이후 가중치 학습이 가능한 융합 모듈을 적용한 새로운 음성 캡션 아키텍처를 제안한다. 이는 데이터 증강 또는 다중 작업 학습 없이 Clotho 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 빔 서치를 사용할 경우 18.2의 SPIDEr 점수를 기록한다.

ABSTRACT

Automated audio captioning (AAC) is a novel task, where a method takes as an input an audio sample and outputs a textual description (i.e. a caption) of its contents. Most AAC methods are adapted from from image captioning of machine translation fields. In this work we present a novel AAC novel method, explicitly focused on the exploitation of the temporal and time-frequency patterns in audio. We employ three learnable processes for audio encoding, two for extracting the local and temporal information, and one to merge the output of the previous two processes. To generate the caption, we employ the widely used Transformer decoder. We assess our method utilizing the freely available splits of Clotho dataset. Our results increase previously reported highest SPIDEr to 17.3, from 16.2.

연구 동기 및 목표

• 음성의 시간적 패턴과 시간-주파수 패턴을 명시적으로 캡처하는 딥 러닝 아키텍처를 개발하여 자동 음성 캡션을 구현하는 것.
• 지역적, 시간적, 스펙트로그램 기반 표현을 가중치 학습이 가능한 융합 메커니즘을 통해 융합하여 캡션 품질을 향상시키는 것.
• 데이터 증강 또는 다중 작업 학습 없이도 공개된 데이터 분할만을 사용하여 Clotho 데이터셋에서 최신 기술 수준 성능을 달성하는 것.
• 시간적, 시간-주파수, 융합 표현의 개별 및 통합 기여도가 캡션 성능에 미치는 영향을 분석하는 것.

제안 방법

• 모델은 세 가지 분支로 구성된 인코더를 사용한다: 1D 확장 컨볼루션(워크넷 유사)을 사용해 장거리 시간적 의존성을 학습하는 분기, 2D CNN을 사용해 시간-주파수 패턴을 추출하는 분기, 그리고 이들의 출력을 융합하는 분기.
• 시간적 인코더(E_temp)는 스택된 웨이브 블록을 사용하며, 각 블록은 다양한 커널 크기, 확장 비율, 수신 필드를 가진 일곱 개의 1D 컨볼루션을 포함하여 계층적인 시간적 특징을 캡처한다.
• 시간-주파수 인코더(E_tf)는 로그멜 스펙트로그램을 2D CNN을 통해 처리하여 국소적인 스펙트럼 패턴과 음향 이벤트를 학습한다.
• 융합 모듈(E_merge)은 E_temp와 E_tf의 특징을 요소별 덧셈 또는 연결 후 피드포워드 레이어를 거쳐 통합된 음성 표현을 생성한다.
• 디코더는 표준 트랜스포머 디코더로, 다중 헤드 어텐션을 사용하여 융합된 음성 표현에서 자동으로 순차적으로 캡션을 생성한다.
• 추론 시 빔 서치를 사용하여 생성 품질을 향상시키며, 이는 SPIDEr 점수를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 시간적 및 시간-주파수 표현이 음성 캡션 성능에 각각 어떤 기여를 하는가?
• RQ2 시간적 및 시간-주파수 특징을 가중치 학습이 가능한 방식으로 융합하면, 단독으로 사용하는 경우보다 캡션 품질을 향상시킬 수 있는가?
• RQ3 제안된 WaveTransformer 아키텍처는 데이터 증강 또는 다중 작업 학습 없이도 Clotho 데이터셋에서 최신 기술 수준 성능을 달성하는가?
• RQ4 E_temp, E_tf, E_merge와 같은 다양한 구성 요소가 객체, 특성, 시공간 관계를 설명하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• WaveTransformer는 빔 서치를 사용하여 Clotho 평가 분할에서 기존 최고 성능을 초월하는 새로운 최신 기술 수준(SOTA) SPIDEr 점수 18.2를 기록한다.
• 시간-주파수 인코더(WT_tf)는 단독으로도 시간적 인코더(WT_temp)를 능가하는 성능을 보이며, 이는 스펙트로그램 패턴이 음향 이벤트 식별에 핵심적임을 시사한다.
• E_merge 모듈을 통해 시간적 및 시간-주파수 특징을 융합하면 성능 향상이 뚜렷하게 나타나며, 특히 SPICE 및 CIDEr 점수에서 두드러진다. 이는 객체 특성과 관계를 더 잘 모델링할 수 있음을 의미한다.
• 전체 WaveTransformer 모델(WT)은 표준 분할에서 17.3의 SPIDEr 점수를 기록하여 이전 SOTA인 16.2를 초월한다.
• 빔 서치는 상당한 성능 향상을 가져오며, SPIDEr 점수를 17.3에서 18.2로 상승시켜 캡션 품질 향상의 효과를 입증한다.
• 모델은 데이터 증강 없이도 NTT를, 다중 작업 학습 없이도 TRACKE를 능가하며, 외부 정규화 기법에 의존하지 않고도 우월한 성능을 보임을 확인한다.