[논문 리뷰] Multi-task Regularization Based on Infrequent Classes for Audio Captioning

Emre Çakır, Konstantinos Drossos외 1명|arXiv (Cornell University)|2020. 07. 09.

Music and Audio Processing참고 문헌 21인용 수 18

한 줄 요약

이 논문은 청각 캡션 생성에서 클래스 불균형 문제를 해결하기 위해 어휘 빈도의 역수에 비례하는 손실 가중치를 적용하고, 클립 수준의 콘텐츠 단어 탐지라는 부가 작업을 도입한 다중 작업 정규화 방법을 제안한다. Clotho 데이터셋을 사용하여, 기준 모델 대비 SPIDEr 지표에서 37%의 상대적 향상을 달성하였으며, 이는 정보성 있는 콘텐츠 단어의 학습 향상과 기능어에 대한 과적합 감소를 보여준다.

ABSTRACT

Audio captioning is a multi-modal task, focusing on using natural language for describing the contents of general audio. Most audio captioning methods are based on deep neural networks, employing an encoder-decoder scheme and a dataset with audio clips and corresponding natural language descriptions (i.e. captions). A significant challenge for audio captioning is the distribution of words in the captions: some words are very frequent but acoustically non-informative, i.e. the function words (e.g. "a", "the"), and other words are infrequent but informative, i.e. the content words (e.g. adjectives, nouns). In this paper we propose two methods to mitigate this class imbalance problem. First, in an autoencoder setting for audio captioning, we weigh each word's contribution to the training loss inversely proportional to its number of occurrences in the whole dataset. Secondly, in addition to multi-class, word-level audio captioning task, we define a multi-label side task based on clip-level content word detection by training a separate decoder. We use the loss from the second task to regularize the jointly trained encoder for the audio captioning task. We evaluate our method using Clotho, a recently published, wide-scale audio captioning dataset, and our results show an increase of 37\% relative improvement with SPIDEr metric over the baseline method.

연구 동기 및 목표

• 빈도가 높은 기능어가 학습 손실을 지배하여 정보성 있는 콘텐츠 단어 학습이 저해되는 청각 캡션의 클래스 불균형 문제를 해결하기 위해.
• 클립 수준의 콘텐츠 단어 탐지에 초점을 맞춘 부가 작업을 도입하여 모델의 일반화 능력을 향상시키기 위해.
• 콘텐츠 단어 탐지 헤드를 활용한 다중 작업 학습을 통해 오디오 인코더의 표현 학습을 향상시키기 위해.
• DCASE 2020 Clotho 벤치마크에서 손실 가중치와 다중 작업 정규화의 효과를 평가하기 위해.
• 기능어보다 청각적으로 정보성이 높은 콘텐츠 단어를 우선시하여 더 의미적으로 정확한 캡션을 생성하기 위해.

제안 방법

• 모델은 이중 방향 GRU 인코더와 GRU 디코더를 갖는 순서-순서 자동에코더 아키텍처를 사용하며, 64밴드의 로그-멜 스펙트로그램을 처리한다.
• 각 단어의 데이터셋 내 빈도에 반비례하는 가중치를 적용하여 단어 수준의 캡션 생성 작업을 정규화한다.
• 독립적인 다중 레이블 콘텐츠 단어 탐지 헤드를 병렬로 학습하며, 전용 디코더와 분류기로 각 오디오 클립에 대한 콘텐츠 단어 존재 여부를 예측한다.
• 콘텐츠 단어 탐지 작업의 손실을 공유 인코더 정규화에 활용하여, 더 구분 가능한 오디오 특징을 추출할 수 있도록 한다.
• 공유 인코더 파rameter를 공유하는 동시에 캡션 생성 및 콘텐츠 단어 탐지 목표를 동시에 최적화하는 공동 학습 과정을 수행한다.
• 공정한 비교를 위해 배치 크기 32, Adam 옵timizer를 사용하며 초기 학습률 1e-4로 하이퍼파라미터를 기준 모델과 동일하게 유지하고, 성능 향상 없이 100 에포크가 지나면 조기 종료한다.

실험 결과

연구 질문

• RQ1 어휘 수준의 손실에 대해 빈도의 역수를 가중치로 적용하면, 희귀하지만 정보성 있는 콘텐츠 단어의 학습에 도움이 될 수 있는가?
• RQ2 다중 레이블 콘텐츠 단어 탐지 부가 작업을 도입하면 인코더의 오디오 캡션 생성을 위한 표현 능력이 향상되는가?
• RQ3 희귀 클래스 기반의 다중 작업 정규화가 Clotho 데이터셋의 캡션 성능 향상에 얼마나 기여하는가?
• RQ4 손실 가중치와 부가 작업 감독의 조합이 생성된 캡션의 문법 정확성과 의미적 풍부도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 기능어에 대한 과적합을 줄이면서도 전체 캡션 품질을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 방법 CWR-WL-CAPS는 기준 모델 대비 SPIDEr 지표에서 37% 상대적 향상을 달성하여, 점수는 7.4에서 5.4로 향상되었다.
• 모든 주요 지표에서 성능 향상을 보였다: CIDEr는 7.4에서 10.7로, SPICE는 3.3에서 4.0로, BLEU-1은 38.9에서 40.9로 상승하였다.
• 가중 손실 도입(CWR-CAPS)만으로도 기준 모델 대비 성능 향상을 보였으며, 이는 빈도 기반 손실 재가중치가 유익하다는 것을 시사한다.
• 콘텐츠 단어 탐지와 함께 다중 작업 정규화를 적용할 경우, 손실 가중치만 적용한 경우보다 더 큰 성능 향상을 보였으며, 특히 TF-IDF 가중치에 민감한 CIDEr 지표에서 두드러졌다.
• 성능 향상에도 불구하고, 생성된 캡션은 여전히 적절한 문법적 구조를 갖추지 못했으며, 'is', 'are', 'and'와 같은 기능어가 문장 끝에 반복적으로 나타났다.
• 저자들은 향후 언어 모델 통합이 문법적 품질 향상에 필요하다고 지적하며, 이를 향후 연구의 핵심 방향으로 제안한다.