[논문 리뷰] COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations

Xavier Favory, Konstantinos Drossos외 2명|Repositori digital de la UPF (Universitat Pompeu Fabra)|2020. 06. 15.

Music and Audio Processing참고 문헌 42인용 수 9

한 줄 요약

COALA는 대비 손실을 사용하여 음성과 태그 표현을 동시에 학습함으로써 잠재 특징을 정렬하는 공통으로 캘리브레이션된 오토인코더 프레임워크를 제안한다. 이는 의미적으로 풍부한 음성 임베딩을 가능하게 하며, 음향 이벤트 인식, 음악 장르, 악기 분류 작업에서 경쟁적인 성능을 달성한다. 임베딩은 음향 기술적 특성과 강하게 상관되어 있다.

ABSTRACT

Audio representation learning based on deep neural networks (DNNs) emerged as an alternative approach to hand-crafted features. For achieving high performance, DNNs often need a large amount of annotated data which can be difficult and costly to obtain. In this paper, we propose a method for learning audio representations, aligning the learned latent representations of audio and associated tags. Aligning is done by maximizing the agreement of the latent representations of audio and tags, using a contrastive loss. The result is an audio embedding model which reflects acoustic and semantic characteristics of sounds. We evaluate the quality of our embedding model, measuring its performance as a feature extractor on three different tasks (namely, sound event recognition, and music genre and musical instrument classification), and investigate what type of characteristics the model captures. Our results are promising, sometimes in par with the state-of-the-art in the considered tasks and the embeddings produced with our method are well correlated with some acoustic descriptors.

연구 동기 및 목표

• 온라인 소스에서 확보한 대규모, 약한 태그가 부여된 음성-태그 쌍을 활용하여 라벨이 부족한 음성 데이터 문제를 해결한다.
• 음성과 의미적 태그 임베딩을 정렬하는 통합 표현 학습 프레임워크를 개발하여 청각적 및 의미적 특성을 모두 포착한다.
• 높은 성능을 유지하면서도 고비용 수동 레이블링에 의존도를 줄이는 자기주도 또는 약한 지도 학습 방법을 개발한다.
• 기존의 음향 기술적 특성과의 상관관계 분석을 통해 학습된 임베딩의 해석 가능성 여부를 조사한다.

제안 방법

• 음성 입력(시간-주파수 표현)과 다중-핫 인코딩된 태그 각각에 대해 별도의 오토인코더를 훈련하여 잠재 표현을 학습한다.
• 음성과 관련 태그의 잠재 표현 간 일치를 극대화하기 위해 대비 손실을 적용하여 의미 정렬을 유도한다.
• 각 모odal의 재구성 손실과 모달 간의 대비 손실을 함께 최적화하여 두 오토인코더를 공동으로 정규화한다.
• 온도 조정된 대비 손실을 사용하여 표현의 구분 능력을 향상시키며, 검증을 통해 초모델을 튜닝한다.
• 드롭아웃(25%)과 SGD 최적화를 사용하여 200 에포크 동안 배치 크기 128로 다단계 훈련 프로세스를 구현한다.
• 태그 벡터의 의미 일관성을 향상시키기 위해 정지어 제거, 명사 복수형 제거, 소문자 변환 등의 데이터 전처리를 수행한다.

실험 결과

연구 질문

• RQ1 이질적이고 다중 모odal 환경에서 대비 학습이 음성과 태그 표현을 효과적으로 정렬할 수 있는가?
• RQ2 학습된 음성 임베딩이 소리의 청각적 및 의미적 특성을 어느 정도 반영하는가?
• RQ3 하류 음성 분류 작업에서 특징 추출기로 사용했을 때 COALA의 성능은 최첨단 모델과 비교해 어떻게 되는가?
• RQ4 COALA가 학습한 임베딩과 표준 음향 기술적 특성 간 상관관계는 어떠한가?
• RQ5 특정 작업에 맞는 미세조정 없이도 모델은 다양한 음성 도메인에 일반화될 수 있는가?

주요 결과

• COALA는 음향 이벤트 인식, 음악 장르 분류, 악기 분류 작업에서 경쟁적인 성능을 달성하며, 평가된 벤치마크에서 종종 최첨단 결과를 충족하거나 초월한다.
• 모델의 임베딩은 기존의 음향 기술적 특성과 강한 상관관계를 보이며, 학습된 표현이 의미 있는 청각적 및 물리적 소리 특성을 포착하고 있음을 시사한다.
• 대비 손실 구성 요소는 음성과 태그 표현 간의 정렬을 크게 향상시켜, 기준 오토인코더보다 더 의미적으로 일관된 임베딩을 생성한다.
• 특정 작업에 맞는 적응 없이도 다양한 음성 작업에 잘 일반화되어 있어, 학습된 특징의 강건성과 전이 가능성(transferability)을 입증한다.
• 대규모 약한 태깅된 음성-태그 쌍 데이터셋에서의 사전 훈련은, 하류 작업에서 라벨 데이터가 제한된 경우에도 효과적인 특징 전이를 가능하게 한다.
• 제거 실험을 통해 재구성 손실과 대비 손실의 공동 최적화가 개별적으로 사용할 경우보다 더 높은 성능을 내는 것으로 확인되었다.