[논문 리뷰] Diverse Audio Captioning via Adversarial Training

Xinhao Mei, Xubo Liu외 3명|arXiv (Cornell University)|2021. 10. 13.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 최대우도추정(MLE)로 훈련된 모델이 일반적이고 결정적인 캡션을 생성하는 한계를 해결하기 위해, 캡션 다양성을 향상시키기 위해 조건부 GAN 기반의 적대적 훈련 프레임워크를 제안한다. 정책 그래เดียน트 강화학습과 판별기, 이중 평가기의 조합을 통해 모델은 더 다양한 의미적으로 충실한 캡션을 생성하며, 전통적인 평가 지표 점수는 略로 낮지만 다양성 지표에서 MLE 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Audio captioning aims at generating natural language descriptions for audio clips automatically. Existing audio captioning models have shown promising improvement in recent years. However, these models are mostly trained via maximum likelihood estimation (MLE),which tends to make captions generic, simple and deterministic. As different people may describe an audio clip from different aspects using distinct words and grammars, we argue that an audio captioning system should have the ability to generate diverse captions for a fixed audio clip and across similar audio clips. To address this problem, we propose an adversarial training framework for audio captioning based on a conditional generative adversarial network (C-GAN), which aims at improving the naturalness and diversity of generated captions. Unlike processing data of continuous values in a classical GAN, a sentence is composed of discrete tokens and the discrete sampling process is non-differentiable. To address this issue, policy gradient, a reinforcement learning technique, is used to back-propagate the reward to the generator. The results show that our proposed model can generate more diverse captions, as compared to state-of-the-art methods.

연구 동기 및 목표

• 최대우도추정(MLE)을 통해 훈련된 오디오 캡션 모델이 일반적이고 반복적인 캡션을 생성하는 문제를 해결한다.
• 동일한 오디오 클립에 대해 다양한 캡션을 생성하고, 유사한 클립 간에도 인간과 유사한 변별성을 반영하는 프레임워크를 개발한다.
• 적대적 훈련을 통해 자연스럽고 다양한 캡션을 생성하기 위해 조건부 GAN(C-GAN) 아키텍처를 도입한다.
• 언어 평가기(CIDEr)와 의미 평가기를 도입하여 캡션 품질과 오디오 콘텐츠에 대한 충실도를 균형 있게 유지한다.
• 텍스트 생성에서의 이산적 생성 문제(비가역성)를 정책 그래데이언트 강화학습을 통해 해결한다.

제안 방법

• 오디오 특징에 조건부로 캡션을 생성하는 생성기와 인간 레이블링 캡션과 생성된 캡션을 구분하는 판별기를 갖춘 조건부 GAN(C-GAN) 프레임워크를 사용한다.
• 이산 토큰 생성이 비가역적이므로, 판별기와 평가기로부터의 보상 신호를 생성기로 역전파하기 위해 정책 그래데이언트 강화학습을 활용한다.
• 판별기 피드백, CIDEr 점수(언어 평가기), 의미 충실도(의미 평가기)를 조합한 복합 보상 함수를 최대화하도록 생성기를 훈련시킨다.
• 이중 평가기 메커니즘을 도입: 언어 품질 평가(예: CIDEr)와 오디오 입력에 대한 의미 일치도 평가를 통해 사실적 일致성을 확보한다.
• 교차적으로 적대적 훈련을 수행: 복합 보상 함수를 사용해 정책 그래데이언트로 생성기를 업데이트한 후, 실제 캡션과 생성 캡션을 구분하는 데 더 나은 성능을 내기 위해 판별기를 업데이트한다.
• MLE 기준 모델과의 비교를 위해 비트 서치를 사용하며 비트 크기를 5로 설정하고, 제안된 C-GAN 모델은 각 오디오 클립에서 5개의 캡션을 샘플링한다.

실험 결과

연구 질문

• RQ1 C-GAN 기반의 적대적 훈련은 MLE 기반 모델에 비해 오디오 캡션의 다양성을 향상시키는가?
• RQ2 판별기와 이중 평가기의 통합은 캡션 다양성과 의미 정확성 간의 균형에 어떤 영향을 미치는가?
• RQ3 정책 그래데이언트 강화학습은 이산 텍스트 생성기의 적대적 환경에서 효과적인 훈련을 가능하게 하는가?
• RQ4 제안된 프레임워크에서 전통적 평가 지표(예: BLEU, CIDEr)와 다양성 지표 간의 상충 관계는 어느 정도인가?
• RQ5 각 구성 요소(판별기, 언어 평가기, 의미 평가기)는 최종 캡션 품질과 다양성에 어떤 기여를 하는가?

주요 결과

• 제안된 C-GAN 프레임워크는 특히 하이퍼파라미터 λ가 1.0에 가까울 때 캡션 다양성이 크게 향상된다. 이는 판별기와 평가기 보상 간의 균형을 잘 맞추기 때문이다.
• MLE로 훈련된 모델은 빈도가 높은 n-gram 사용 덕분에 BLEU나 CIDEr와 같은 n-gram 기반 평가 지표에서 높은 점수를 기록하지만, 동일한 오디오 클립에 대해 결정적이고 거의 동일한 캡션을 생성한다.
• C-GAN 모델은 더 다양한 캡션을 생성한다: 예를 들어 동일한 소리를 다른 동사로 묘사(예: '번쩍이는', '드릴링하는')하거나, 다른 측면(소리 자체 vs. 소스 물체)에 초점을 맞춘다.
• 아블레이션 연구 결과, 판별기를 제거하면 의미적으로 타당하지 않은 캡션을 생성하고, 언어 평가기만 의존할 경우 다양성이 감소함을 확인하여 각 구성 요소의 상호보완적 역할을 입증한다.
• 의미 평가기는 충실도 유지에 핵심적이다. 이 평가기를 제거할 경우 모델은 질서 없고 반복적인 텍스트를 생성하여 n-gram 기반 지표에서 거의 0점에 가까운 점수를 기록한다.
• 모델는 유의미한 트레이드오프를 달성한다: 전통적 평가 지표는 다소 낮아지지만 다양성은 크게 향상되어, 핵심 캡션 품질을 훼손하지 않으면서 다양성을 높일 수 있음을 보여준다.