[논문 리뷰] Audio-visual scene classification: analysis of DCASE 2021 Challenge submissions

Shanshan Wang, Toni Heittola외 2명|arXiv (Cornell University)|2021. 05. 28.

Music and Audio Processing참고 문헌 20인용 수 5

한 줄 요약

이 논문은 DCASE 2021 챌린지의 음향-시각적 장면 분류 과제를 분석하며, 12개 유럽 도시에서 수집한 동기화된 음향-시각 데이터셋을 사용해 43개의 제출물을 평가한다. 최고의 시스템은 대규모 사전 훈련된 모델(예: ResNet, EfficientNet), 전이 학습, 데이터 증강, 다중모odal 융합 기법을 활용하여 로그손실 0.195와 정확도 93.8%를 달성했으며, 기준선(로그손실 0.662, 정확도 77.1%)을 크게 앞서는 성능을 보였다.

ABSTRACT

This paper presents the details of the Audio-Visual Scene Classification task in the DCASE 2021 Challenge (Task 1 Subtask B). The task is concerned with classification using audio and video modalities, using a dataset of synchronized recordings. This task has attracted 43 submissions from 13 different teams around the world. Among all submissions, more than half of the submitted systems have better performance than the baseline. The common techniques among the top systems are the usage of large pretrained models such as ResNet or EfficientNet which are trained for the task-specific problem. Fine-tuning, transfer learning, and data augmentation techniques are also employed to boost the performance. More importantly, multi-modal methods using both audio and video are employed by all the top 5 teams. The best system among all achieved a logloss of 0.195 and accuracy of 93.8%, compared to the baseline system with logloss of 0.662 and accuracy of 77.1%.

연구 동기 및 목표

• DCASE 2021 챌린지에 제출된 음향-시각적 장면 분류 시스템의 성능을 평가하고 분석하는 것.
• 다중모달 장면 분류에서 높은 성능을 보인 시스템들이 사용한 가장 효과적인 기법과 아키텍처를 규명하는 것.
• 성능 및 내성 면에서 단모달(음향 전용, 영상 전용)과 다중모달 접근 방식을 비교하는 것.
• 모델 복잡도, 전이 학습, 데이터 증강이 시스템 일반화 능력과 정확도에 미치는 영향을 평가하는 것.

제안 방법

• 13개의 국제 팀으로부터 제출된 43개의 제출물을 12개의 유럽 도시에서 수집한 동기화된 음향-시각 데이터셋을 사용해 평가한다.
• 기준선 시스템은 음향에 대해 로그멜 스펙트로그램을 사용하고 영상에 대해 표준 컨volution 네트워크(CNN)를 사용하며, 초기 융합 방식을 적용하고 TAU Urban Audio-Visual Scenes 2021 데이터셋으로 훈련한다.
• 최고의 시스템들은 ResNet 및 EfficientNet와 같은 대규모 사전 훈련된 모델을 사용하여 전이 학습을 통해 미세조정한다.
• 시간 이동, 주파수 마스킹, mixup 등의 데이터 증강 기법이 널리 사용되어 내성성을 향상시켰다.
• 상위 5개 팀 전원이 다중모달 융합 전략을 적용했으며, 후기 융합 또는 초기 융합 메커니즘을 통해 음향 및 영상 특징을 융합한다.
• 성능 평가에는 개발 및 평가 세트에서의 로그손실과 정확도를 사용하며, 해석을 위해 혼동 행렬과 상관 분석도 활용한다.

실험 결과

연구 질문

• RQ1 음향-시각적 장면 분류에 있어 가장 효과적인 딥러닝 아키텍처와 사전 훈련 전략은 무엇인가?
• RQ2 성능 및 일반화 능력 측면에서 다중모달 융합 접근 방식은 단모달 접근 방식보다 어떻게 비교되는가?
• RQ3 데이터 증강과 미세조정이 시스템의 내성성과 정확도에 얼마나 기여하는가?
• RQ4 이 과제에서 모델 복잡도와 시스템 성능 사이의 관계는 어떠한가?
• RQ5 최고 성능을 낸 시스템들은 예측되지 않은 도시와 장면 유형에 대해 어떻게 일반화되는가?

주요 결과

• 최고의 시스템은 로그손실 0.195와 정확도 93.8%를 달성했으며, 기준선(로그손실 0.662, 정확도 77.1%)을 크게 앞서는 성능을 보였다.
• 43개 제출물 중 절반 이상이 기준선 시스템을 초월했으며, 이는 분야 전반적인 긍정적인 진전을 시사한다.
• 영상 전용 모델이 음향 전용 모델보다 뛰어난 성능을 보였으며, 최고의 영상 전용 시스템은 로그손실 0.132와 정확도 91.6%를 기록했다.
• 최고의 시스템은 '공원'에서 100% 정확도, '지하철역'에서 99% 정확도를 기록했으며, 최소 성능 클래스는 84%였다.
• 모델 복잡도와 시스템 순위 사이의 스피어만 순위 상관관계는 0.75로, 강한 정적 상관관계를 보였다.
• 혼동 행렬 분석 결과, '공항'은 자주 '쇼핑몰'로 잘못 분류되었고, '트램'은 '버스' 또는 '지하철'로 오분류되는 경향이 있었으며, 이는 장면 간의 지각적 유사성 때문이었다.