[논문 리뷰] Unsupervised Learning of Semantic Audio Representations

Aren Jansen, Manoj Plakal외 6명|arXiv (Cornell University)|2017. 11. 06.

Music and Audio Processing참고 문헌 18인용 수 5

한 줄 요약

이 논문은 레이블이 없는 음성 데이터에서 시간 이동, 음성 혼합, 시간적 근접성과 같은 의미론적 불변성 요소를 활용하여 삼중손실을 사용한 비지도 딥 메트릭 학습 방법을 제안한다. 이 방법은 음성 이벤트 분류 과제에서 완전히 지도 학습된 모델의 84% 성능을 달성하고, 낮은 지도 학습 설정에서 최신 기술 성능을 두 배로 높이며, 약한 구조를 가진 음성 데이터로부터 강력한 일반화 능력을 입증한다.

ABSTRACT

Even in the absence of any explicit semantic annotation, vast collections of audio recordings provide valuable information for learning the categorical structure of sounds. We consider several class-agnostic semantic constraints that apply to unlabeled nonspeech audio: (i) noise and translations in time do not change the underlying sound category, (ii) a mixture of two sound events inherits the categories of the constituents, and (iii) the categories of events in close temporal proximity are likely to be the same or related. Without labels to ground them, these constraints are incompatible with classification loss functions. However, they may still be leveraged to identify geometric inequalities needed for triplet loss-based training of convolutional neural networks. The result is low-dimensional embeddings of the input spectrograms that recover 41% and 84% of the performance of their fully-supervised counterparts when applied to downstream query-by-example sound retrieval and sound event classification tasks, respectively. Moreover, in limited-supervision settings, our unsupervised embeddings double the state-of-the-art classification performance.

연구 동기 및 목표

• 명시적인 클래스 레이블 없이 의미 있는 의미론적 음성 표현을 학습하기 위해.
• 레이블이 없는 음성에서 클래스에 종속되지 않는 의미론적 제약 조건—예: 시간 이동, 음성 혼합, 시간적 근접성—을 활용하여 자기 지도 학습을 위해.
• 스펙트로그램 윈도우를 의미론적 유사성을 유지하는 저차원 임베딩 공간으로 매핑하기 위해 삼중손실을 사용하여 딥 컨volution 네트워크를 훈련하기 위해.
• 쿼리-기반 예제 검색 및 음성 이벤트 분류와 같은 후행 작업에서 학습된 임베딩을 평가하기 위해.
• 레이블 데이터가 부족한 저지도 학습 환경에서 성능 향상을 입증하기 위해.

제안 방법

• 동일한 이벤트의 시간 이동된 복제본, 이벤트 쌍의 혼합, 시간적으로 근접한 이벤트를 활용하여 레이블이 없는 음성에서 삼중조를 샘플링하기 위해.
• 스펙트로그램 윈도우를 d차원 임베딩 공간으로 매핑하기 위해 삼중손실을 사용하여 컨volution 네트워크를 훈련시키며, 기준점이 양성 샘플보다 음성 샘플보다 가까워지도록 유도하기 위해.
• 모델이 양성 쌍(예: 정상 및 노이즈가 섞인 버전) 간의 거리를 최소화하고 음성 쌍(예: 관련 없는 소리) 간의 거리를 최대화하도록 대비 손실 설정을 사용하기 위해.
• 백업 및 평가에 AudioSet 데이터셋을 활용하며, 카테고리 레이블 없이도 원시 음성 클립에서 수백만 개의 삼중조를 생성하기 위해.
• 다양한 의미 관계를 포괄하고 강건성을 향상시키기 위해 여러 종류의 삼중조를 통합된 임베딩 모델로 조합하기 위해.
• 쿼리-기반 예제 검색 및 다양한 수준의 지도 학습이 적용된 음성 이벤트 분류를 포함한 후행 작업을 통해 학습된 임베딩을 평가하기 위해.

실험 결과

연구 질문

• RQ1 레이블이 없는 음성에서 시간 이동 및 음성 혼합과 같은 의미론적 불변성을 활용하여 명시적인 레이블 없이 효과적인 음성 표현을 학습할 수 있는가?
• RQ2 약한 의미론적 제약 조건에 기반한 삼중손실이 원시 스펙트로그램에 비해 후행 음성 작업으로의 일반화 능력은 얼마나 우수한가?
• RQ3 시간 이동, 혼합, 근접성과 같은 보완적 제약 조건을 결합했을 때 표현 품질 향상 정도는 어느 정도인가?
• RQ4 레이블이 부족한 환경에서 비지도 임베딩이 완전히 지도 학습된 기준 모델을 초월할 수 있는가?
• RQ5 표준 음성 벤치마크에서 비지도 표현과 완전히 지도 학습된 표현 간의 성능 격차는 어느 정도인가?

주요 결과

• 통합된 비지도 삼중조 모델은 쿼리-기반 예제 음성 검색 과제에서 원시 스펙트로그램과 완전히 지도 학습된 임베딩 간의 성능 격차의 41%를 복구한다.
• 음성 이벤트 분류 과제에서 동일한 후행 분류기로 훈련된 비지도 임베딩은 완전히 지도 학습된 모델의 84% 성능을 달성한다.
• 클래스당 레이블이 20개뿐인 저지도 학습 설정에서 비지도 임베딩 모델은 원시 입력으로 훈련된 전체 ResNet-50 분류기의 mAP를 두 배로 높인다.
• 통합된 삼중조 세트로 훈련된 모델은 527개 클래스의 AudioSet 분류 과제에서 mAP 0.244를 기록했으며, 이는 완전히 지도 학습된 ResNet-50 모델이 달성한 mAP 0.288의 85%에 해당한다.
• 시간적 근접성 제약 조건이 가장 큰 성과 향상을 가져오며, 그 다음으로 혼합과 시간 이동이 이어지며, 병합 사용 시 보완적인 향상이 나타난다.
• 데이터 증강에 이중 변환(시간 및 주파수)을 적용하면 초기 컨볼루션 필터에서 스펙트럼 국소화가 향상되어 표현 품질이 향상된다.