[논문 리뷰] Deep Clustering For General-Purpose Audio Representations

Sreyan Ghosh, Sandesh V. Katta외 2명|arXiv (Cornell University)|2021. 10. 17.

Music and Audio Processing참고 문헌 23인용 수 6

한 줄 요약

DECAR는 오프라인 클러스터링을 활용하여 예측 작업을 위한 가짜 레이블을 생성함으로써 일반 목적의 오디오 표현을 학습하는 자기지도 학습 사전 훈련 방법이다. 이는 AudioSet의 균형 잡힌 서브셋에서 경량이고 효율적인 프레임워크로 사전 훈련하여, 음성, 음악, 동물 소리 및 환경 음향을 포함한 9개의 다운스트림 오디오 분류 작업에서 뛰어난 전이 성능를 달성한다.

ABSTRACT

We introduce DECAR, a self-supervised pre-training approach for learning general-purpose audio representations. Our system is based on clustering: it utilizes an offline clustering step to provide target labels that act as pseudo-labels for solving a prediction task. We develop on top of recent advances in self-supervised learning for computer vision and design a lightweight, easy-to-use self-supervised pre-training scheme. We pre-train DECAR embeddings on a balanced subset of the large-scale Audioset dataset and transfer those representations to 9 downstream classification tasks, including speech, music, animal sounds, and acoustic scenes. Furthermore, we conduct ablation studies identifying key design choices and also make all our code and pre-trained models publicly available.

연구 동기 및 목표

• 인간 레이블이 필요 없이 일반 목적의 오디오 표현을 학습하는 자기지도 사전 훈련 접근법을 개발하는 것.
• 클러스터링을 가짜 레이블의 원천으로 활용하여 가벼우면서도 확장 가능한 방식으로 표현 학습을 감독하는 것.
• 음성, 음악, 동물 소리 및 음향 환경을 포함한 다양한 다운스트림 오디오 분류 작업에 대해 학습된 표현을 효과적으로 전이하는 것.
• 추후 자기지도 오디오 표현 학습을 위한 지침을 제공하기 위해 추론 실험을 통해 핵심 아키텍처 및 훈련 설계 선택 사항을 규명하는 것.
• 재현 가능성과 자기지도 오디오 표현 학습 분야의 향후 연구를 지원하기 위해 코드와 사전 훈련 모델을 공개하는 것.

제안 방법

• 대규모 오디오 데이터셋(균형 잡힌 AudioSet 서브셋)에 대해 오프라인 클러스터링을 적용하여 훈련 데이터의 가짜 레이블을 생성한다.
• 클러스터 할당 결과를 대비 타겟 레이블로 사용하여 대조 예측 작업에서 표현 학습을 위한 신경망을 훈련시킨다.
• 자기지도 사전 훈련을 위한 오디오 데이터에 최적화된 경량이고 종단 간(end-to-end) 신경망 아키텍처를 설계한다.
• 클러스터링에서 유도된 가짜 레이블을 사용하여 AudioSet 서브셋에서 대조 학습 목표를 기반으로 모델을 사전 훈련한다.
• 표준 선형 프로브 또는 파인튜닝 프로토콜을 사용하여 9개의 다운스트림 오디오 분류 벤치마크에서 학습된 표현을 파인튜닝한다.
• 클러스터링 전략, 데이터 균형, 모델 아키텍처가 다운스트림 성능에 미치는 영향을 평가하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 대조 또는 마스킹 오토인코더 접근 방식에 비해 클러스터링 기반 가짜 레이블링이 자기지도 오디오 표현의 품질을 향상시키는가?
• RQ2 클러스터링 알고리즘의 선택과 클러스터링의 세분성은 다운스트림 전이 성능에 어떤 영향을 미치는가?
• RQ3 AudioSet의 균형 잡힌 서브셋에서 사전 훈련을 수행할 경우, 음성, 음악, 환경 소리와 같은 다양한 오디오 도메인으로의 일반화 능력은 어느 정도인가?
• RQ4 클러스터링 기반 자기지도 학습에서 효과적인 영향을 미치는 핵심 아키텍처 및 훈련 설계 요소는 무엇인가?
• RQ5 정확도, 효율성, 구현 용이성 측면에서 DECAR는 기존의 자기지도 오디오 모델과 비교해 어떤가?

주요 결과

• DECAR는 음성, 음악, 동물 소리 및 환경 음향을 포함한 9개의 다양한 다운스트림 오디오 분류 작업에서 강력한 전이 성능를 보이며, 클러스터링 기반 가짜 레이블링이 자기지도 사전 훈련에 효과적임을 입증한다.
• 사전 훈련 단계에서 AudioSet의 균형 잡힌 서브셋을 사용할 경우, 균형이 깨진 데이터에 비해 더 강건하고 일반화 능력이 뛰어난 표현을 얻을 수 있다.
• 추론 실험 결과, 클러스터링 전략과 데이터 균형이 다운스트림 성능에 상당한 영향을 미치며, 데이터 쿠리네이션의 중요성을 강조한다.
• DECAR의 경량 설계 덕분에 효율적인 사전 훈련과 파인튜닝이 가능하여 다양한 응용 분야에 실용적으로 활용할 수 있다.
• 코드와 사전 훈련 모델의 공개로 재현 가능성이 향상되고, 향후 자기지도 오디오 표현 학습 분야의 연구를 지원할 수 있다.