[논문 리뷰] Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning

Daiki Takeuchi, Yuma Koizumi외 3명|arXiv (Cornell University)|2020. 09. 24.

Subtitles and Audiovisual Media참고 문헌 29인용 수 11

한 줄 요약

이 논문은 자동 음성 캡션에서 단어 빈도 기반 사전 및 사후 처리 기법의 영향을 조사하며, 믹스업 데이터 증강과 비드 서치 디코딩을 조합한 시스템을 제안한다. 결과적으로 이러한 방법들은 각각 SPIDEr 점수를 0.8점과 1.6점 향상시켜 뚜렷한 개선 효과를 보였으며, 다중 작업 학습은 제로샷 학습 조건에서는 유의미한 이점을 보이지 않았다.

ABSTRACT

The system we used for Task 6 (Automated Audio Captioning)of the Detection and Classification of Acoustic Scenes and Events(DCASE) 2020 Challenge combines three elements, namely, dataaugmentation, multi-task learning, and post-processing, for audiocaptioning. The system received the highest evaluation scores, butwhich of the individual elements most fully contributed to its perfor-mance has not yet been clarified. Here, to asses their contributions,we first conducted an element-wise ablation study on our systemto estimate to what extent each element is effective. We then con-ducted a detailed module-wise ablation study to further clarify thekey processing modules for improving accuracy. The results showthat data augmentation and post-processing significantly improvethe score in our system. In particular, mix-up data augmentationand beam search in post-processing improve SPIDEr by 0.8 and 1.6points, respectively.

연구 동기 및 목표

• DCASE 2020 챌린지에서 높은 성능을 내는 음성 캡션 시스템에서 각 구성 요소—데이터 증강, 다중 작업 학습, 사후 처리—의 기여도를 명확히 하기 위해.
• 제한된 데이터, 사전학습 없이 학습하는 조건에서 데이터 증강과 사후 처리가 캡션 정확도를 향상시키는지 조사하기 위해.
• 초기 학습에서 문장 길이 및 키워드 예측을 위한 다중 작업 학습이 성능을 향상시키는지 판단하기 위해.
• 비드 서치 디코딩과 테스트 시점 증강이 캡션 품질 지표 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 학습 샘플을 선형적으로 조합하여 합성된 음성-캡션 쌍을 생성하기 위해 믹스업 데이터 증강을 적용하였다.
• 학습 다양성을 향상시키기 위해 TF-IDF 기반 단어 배치와 IDF 기반 샘플 선택을 활용한 데이터 증강을 사용하였다.
• 공유 인코더와 문장 길이 및 키워드 예측을 위한 별도의 헤드를 갖춘 다중 작업 학습 프레임워크를 구현하였다.
• 다양한 후보 중에서 가장 높은 가능도를 갖는 캡션 시퀀스를 선택하기 위해 추론 시 비드 서치 디코딩을 사용하였다.
• 각 음성 샘플에서 20초 길이의 여러 세그먼트를 자르는 방식으로 테스트 시점 증강(TTA)을 적용하고, 추론 결과를 평균화하였다.
• 각 구성 요소의 기여도를 분리하기 위해 요소 수준 및 모듈 수준의 분석 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 제한된 학습 데이터 조건에서 믹스업 데이터 증강이 음성 캡션 성능 향상에 얼마나 효과적인가?
• RQ2 그리디 디코딩에 비해 비드 서치 디코딩은 캡션 품질을 얼마나 향상시키는가?
• RQ3 초기 학습 조건에서 문장 길이 및 키워드 예측을 위한 다중 작업 학습이 캡션 정확도를 향상시키는가?
• RQ4 IDF 기반 샘플 선택과 TTA는 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ5 데이터 증강, 다중 작업 학습, 사후 처리 중에서 어떤 구성 요소가 최종 모델 성능 향상에 가장 크게 기여하는가?

주요 결과

• 믹스업 데이터 증강은 SPIDEr 점수를 0.8점 향상시켜, 저자원 음성 캡션 환경에서의 효과성을 입증하였다.
• 비드 서치 디코딩은 SPIDEr에서 CIDEr 및 BLEU-4 점수를 각각 1.6점 향상시켜 전체 문장의 일관성 향상이 뚜렷하게 나타났다.
• 제로샷 학습 조건에서 다중 작업 학습은 성능 향상에 기여하지 않았으며, 이는 이러한 모듈에 대해 사전학습이 필요할 수 있음을 시사한다.
• TTA 및 IDF 기반 샘플 선택은 성능 향상에 기여하지 않았으며, 이는 증강 샘플 간 통계적 이질성이 미미하기 때문일 것이다.
• 데이터 증강과 사후 처리의 조합은 독립적이고 누적적인 성과 향상을 보였으며, 둘 다 제거했을 경우 SPIDEr 점수 하락을 3.2점 감소시켰다.
• 비드 서치 디코딩은 n-gram 기반 지표에서 특히 효과적이었으며, 국소 최적의 단어 선택이 아닌 전역 최적의 시퀀스 선택을 가능하게 하였다.