[논문 리뷰] Multi-Format Contrastive Learning of Audio Representations

Luyu Wang, Aäron van den Oord|arXiv (Cornell University)|2021. 03. 11.

Music and Audio Processing참고 문헌 35인용 수 30

한 줄 요약

논문은 두 가지 오디오 포맷(원시 파형과 로그 멜 스펙트로그램) 간 대비 학습이 강력한 표현을 만들어내며, 멀티모달 데이터 없이 AudioSet과 ESC-50에서 새로운 최첨단 성능을 달성함을 보여준다.

ABSTRACT

Recent advances suggest the advantage of multi-modal training in comparison with single-modal methods. In contrast to this view, in our work we find that similar gain can be obtained from training with different formats of a single modality. In particular, we investigate the use of the contrastive learning framework to learn audio representations by maximizing the agreement between the raw audio and its spectral representation. We find a significant gain using this multi-format strategy against the single-format counterparts. Moreover, on the downstream AudioSet and ESC-50 classification task, our audio-only approach achieves new state-of-the-art results with a mean average precision of 0.376 and an accuracy of 90.5%, respectively.

연구 동기 및 목표

• 단일 오디오 모달리티의 여러 포맷이 다중 모달 학습과 유사한 향상을 제공할 수 있는지 동기 부여하고 평가한다.
• 원시 오디오와 그것의 스펙트럴 표현 사이의 일치를 최대화하는 대비 학습 프레임워크를 개발한다.
• 자기지도 학습 음성 표현 학습에 효과적인 오디오 포맷, 증강 방법, 아키텍처를 식별한다.
• AudioSet과 ESC-50에서의 다운스트림 성능을 시연하여 감독없는 음성 표현 학습의 최첨단 결과를 확립한다.

제안 방법

• 다른 포맷(원시 파형 vs 스펙트럼 표현)으로 가공한 같은 오디오의 두 뷰 간의 일치를 최대화하기 위해 SimCLR 스타일 대비 목표를 사용한다.
• 각 포맷에 적합한 인코더를 사용하고(예: 컨볼루션 기반 또는 CNN/ResNet 스타일 아키텍처) 공유 프로젝션 헤드를 둔다.
• 오디오와 스펙트로그램에 대해 경량 증강을 적용한다(오디오 혼합, 시간 마스킹, 주파수 마스킹, 주파수 이동).
• 대규모 배치 크기로 학습하여 대비 손실에 다수의 네거티브를 제공하고 InfoNCE 손실에서 온도 매개변수를 사용한다.
• 사전 학습된 인코더를 동결하고 다운스트림 작업에서 얕은 분류기를 학습시켜 평가한다( AudioSet mAP, ESC-50 정확도 ).
• 교차 포맷 일치를 분석하기 위해 단일 포맷 및 이중 포맷 설정을 실험한다.

실험 결과

연구 질문

• RQ1 원시 오디오와 스펙트럼 표현 사이의 일치를 최대화하여 표현을 학습하는 것이 단일 포맷 혹은 단일 모달리티의 기준선보다 우수한가?
• RQ2 어떤 오디오 포맷 조합과 증강이 최상의 다운스트림 성능을 낳는가?
• RQ3 모델 아키텍처, 배치 크기, 온도, 투사 크기가 오디오 대비 학습에 어떻게 영향을 미치는가?
• RQ4 라벨 없이 이중 포맷 자기지도 학습을 사용할 때 AudioSet과 ESC-50의 다운스트림 이득은 무엇인가?

주요 결과

• 이중 포맷(원시 파형 및 로그 멜 스펙트로그램) 학습은 단일 포맷 기준선에 비해 상당한 이득을 제공한다.
• 원시 오디오와 로그 멜 스펙트로그램의 짝짓기가 AudioSet에서 원시 오디오 전용 대비 기본 모델 mAP를 약 15% 향상시키고 로그 멜 전용 대비 약 41% 향상시킨다.
• 최고의 단일 모델 결과는 mAP 0.336(파형) 및 0.329(로그멜)이며, 이중 포맷 학습은 평가 시 log-mel 0.368, waveform 0.355를 달성; 두 포맷의 특징을 연결하면 0.376에 도달한다.
• ESC-50 다운스트림 정확도는 이중 포맷 학습으로 90.5%에 도달하여 새로운 최첨단을 설정한다.
• 더 긴 시간 자르기(10초)는 AudioSet의 다중 인스턴스 특성으로 인해 성능이 더 나쁘며, 3–5초 자르기가 선호된다.
• 배치 크기와 프로젝션 잠재 크기를 늘리면 일반적으로 성능이 향상되며, 더 큰 모델이 이중 포맷 설정에서 더 큰 이점을 얻는다.