[논문 리뷰] The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation

Yuma Koizumi, Daiki Takeuchi외 3명|arXiv (Cornell University)|2020. 07. 01.

Music and Audio Processing참고 문헌 15인용 수 21

한 줄 요약

이 논문은 단일 청각 이벤트가 다수의 동의어로 기술될 수 있는 어휘 선택 불확실성과 동일한 이벤트가 간결하게 또는 상세하게 기술될 수 있는 문장 길이 불확실성을 해결하기 위해 키워드 및 문장 길이를 동시 추정하는 다중 작업 학습 시스템을 제안한다. 주어진 청각 캡션 생성 프레임워크에 어텐션 메커니즘과 데이터 증강 기법을 통합함으로써, DCASE2020 개발-테스트 세트에서 20.7의 SPIDEr 점수를 기록하여 기준 모델(5.4)을 크게 앞서는 성능을 달성하였다.

ABSTRACT

This technical report describes the system participating to the Detection and Classification of Acoustic Scenes and Events (DCASE) 2020 Challenge, Task 6: automated audio captioning. Our submission focuses on solving two indeterminacy problems in automated audio captioning: word selection indeterminacy and sentence length indeterminacy. We simultaneously solve the main caption generation and sub indeterminacy problems by estimating keywords and sentence length through multi-task learning. We tested a simplified model of our submission using the development-testing dataset. Our model achieved 20.7 SPIDEr score where that of the baseline system was 5.4.

연구 동기 및 목표

• 단일 청각 이벤트가 다수의 동의어로 기술될 수 있는 어휘 선택 불확실성을 해결하기 위해.
• 동일한 이벤트가 간결하거나 상세하게 기술될 수 있는 문장 길이 불확실성을 완화하기 위해.
• 공유된 딥 러닝 아키텍처를 통해 키워드 및 문장 길이 추정을 동시에 수행함으로써 캡션 생성 성능을 향상시키기 위해.
• TF-IDF 기반 데이터 샘플링 및 증강 기법을 활용해 낮은 빈도의 어휘와 희귀 주제에 대한 모델 일반화 능력을 향상시키기 위해.
• 전문 하위 모델의 앙상블을 통해 DCASE2020 청각 캡션 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 원시 오디오에서 로그-멜스펙트로그램을 추출하고, HPSS를 적용하여 조화성분과 타악성분을 분리하여 3채널 입력 텐서로 결합하였다.
• NLTK 토크나이저를 사용해 캡션을 사전 처리하고, BOS, EOS, PAD, UNK 토큰을 포함한 2,144개의 단어로 구성된 어휘를 구축하였다.
• 파일 이름과 메타데이터에서 유도된 421개의 어간화된 단어로 구성된 키워드 어휘를 구축하여 메타 및 캡션 키워드 추출에 사용하였다.
• 캡션 생성, 키워드 추정, 문장 길이 예측을 위한 공유 인코더와 디코더를 갖춘 다중 작업 순차-순차 모델을 설계하였다.
• 희귀 어휘 및 주제를 가진 학습 샘플을 우선순위로 배정하기 위해 TF-IDF 기반 샘플링을 적용하여 낮은 빈도의 어휘에 대한 일반화 능력을 향상시켰다.
• 일정한 1e-4 학습률을 가진 AdamW 옵timizer를 사용하여 모델을 훈련하고, 검증 손실 기반 조기 정지 및 추론을 위한 모델 앙상블 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 키워드 및 문장 길이의 동시 추정이 청각 캡션 생성에서 어휘 선택 및 문장 길이의 불확실성을 감소시키는가?
• RQ2 보조 예측(예: 키워드 및 길이)을 통합함으로써 다중 작업 학습이 캡션 생성 성능 향상에 얼마나 효과적인가?
• RQ3 TF-IDF 기반 데이터 샘플링이 희귀 어휘 및 주제에 대한 캡션 생성 과제에서 모델 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 아키텍처 변형(예: MHSA를 완전히 연결된 레이어로 대체하거나 메타 키워드 브런치 제거)이 모델 성능에 미치는 영향은 어떠한가?
• RQ5 낮은 자원, 높은 불확실성 환경인 청각 캡션과 같은 상황에서 모델 앙상블의 영향은 무엇인가?

주요 결과

• 제안된 시스템은 DCASE2020 개발-테스트 세트에서 기준 시스템의 5.4에 비해 상당히 향상된 20.7의 SPIDEr 점수를 기록하였다.
• 모든 개별 모델 변형(Model1–Model6)이 기준 시스템을 초월하여 다중 작업 학습 접근법의 효과성을 입증하였다.
• 다양한 전문화된 아키텍처(예: Model1, Model3, Model4, Model5, Model6)를 조합한 앙상블 모델이 가장 높은 성능을 기록하였다.
• TF-IDF 기반 데이터 샘플링 및 증강 기법을 활용함으로써 희귀 어휘 및 주제에 대한 모델의 강인성이 향상되어 더 높은 SPIDEr 점수 기여를 하였다.
• 메타 키워드 추정 및 어텐션 블록 제거(ablation, Model3) 조건에서도 강력한 성능가지를 보였으며, 이는 코어 캡션 및 예측 헤드만으로도 높은 정확도를 달성할 수 있음을 시사한다.
• 특히 50개의 모델을 포함한 Submission 2와 같은 모델 앙상블 접근법은 높은 안정성과 성능을 보였으며, 다양한 모델 아키텍처가 일반화 능력을 향상시키는 데 기여함을 시사한다.