[논문 리뷰] Semi-supervised learning using teacher-student models for vocal melody extraction

Sangeun Kum, Jing-Hua Lin외 2명|arXiv (Cornell University)|2020. 08. 14.

Speech Recognition and Synthesis참고 문헌 36인용 수 16

한 줄 요약

이 논문은 제한된 레이블이 부여된 데이터에서 보컬 멜로디 추출 성능을 향상시키기 위해 티처-스터디언트 모델을 활용한 준지도 학습 프레임워크를 제안한다. 대규모 비라벨 음성 데이터를 활용하고 일관성 정규화를 통한 반복적 자기학습을 수행함으로써 성능을 크게 향상시켰으며, 특히 적절한 데이터 증강과 비라벨 데이터 선택을 적용한 노이지 스투디언트 설정을 사용할 경우 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The lack of labeled data is a major obstacle in many music information retrieval tasks such as melody extraction, where labeling is extremely laborious or costly. Semi-supervised learning (SSL) provides a solution to alleviate the issue by leveraging a large amount of unlabeled data. In this paper, we propose an SSL method using teacher-student models for vocal melody extraction. The teacher model is pre-trained with labeled data and guides the student model to make identical predictions given unlabeled input in a self-training setting. We examine three setups of teacher-student models with different data augmentation schemes and loss functions. Also, considering the scarcity of labeled data in the test phase, we artificially generate large-scale testing data with pitch labels from unlabeled data using an analysis-synthesis method. The results show that the SSL method significantly increases the performance against supervised learning only and the improvement depends on the teacher-student models, the size of unlabeled data, the number of self-training iterations, and other training details. We also find that it is essential to ensure that the unlabeled audio has vocal parts. Finally, we show that the proposed SSL method enables a baseline convolutional recurrent neural network model to achieve performance comparable to state-of-the-arts.

연구 동기 및 목표

• 음악 정보 검색 분야에서 특히 보컬 멜로디 추출에 필요한 전문가의 레이블링이 고비용이기 때문에, 레이블이 부족한 문제를 해결하기 위해.
• 대규모 비라벨 음성 데이터를 효과적으로 활용하여 모델의 일반화 능력과 성능을 향상시키는 준지도 학습 프레임워크를 개발하기 위해.
• 보컬 멜로디 추출의 맥락에서 다양한 티처-스터디언트 모델 설정, 데이터 증강 전략, 학습 반복 횟수의 효과를 평가하기 위해.
• 다중 트랙 음성에서 분석-합성 기반으로 비라벨 음성에서 대규모 합성 테스트 데이터를 생성하여 레이블이 없는 테스트 데이터의 부족을 보완하기 위해.

제안 방법

• 사전 훈련된 티처 모델이 비라벨 데이터에서 일관성 정규화를 통해 스터디언트 모델을 안내하는 티처-스터디언트 프레임워크를 사용한다.
• 세 가지 티처-스터디언트 설정을 비교한다: 표준 스터디언트, 일관성 정규화(노이지 스터디언트), 모델 디스틸레이션으로, 노이지 스터디언트 설정에서 가장 높은 성능를 기록한다.
• 스터디언트 모델의 강건성과 일반화 능력을 향상시키기 위해 피치 시프팅과 타임 스트레칭 등의 데이터 증강 기법을 적용한다.
• 반복적 자기학습을 수행하며, 스터디언트 모델을 편집된 라벨이 부여된 비라벨 데이터로 재학습하고, 여러 반복 주기에 걸쳐 성능을 모니터링한다.
• 다양하고 대규모의 테스트 세트에서 평가할 수 있도록, 다중 트랙 음성에서 피치 레이블을 추출하는 분석-합성 파이프라인을 사용해 대규모 테스트 데이터를 인위적으로 생성한다.
• 제안된 SSL 방법을 사용해 기본 컨볼루션 순환 신경망을 미세조정함으로써 최신 기술 수준의 모델과 비슷한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 부여된 데이터에서 티처-스터디언트 준지도 학습 프레임워크가 보컬 멜로디 추출 성능 향상에 얼마나 효과적인가?
• RQ2 실제 음악에서 노이즈가 존재하는 환경에서 표준, 일관성 정규화, 또는 디스틸레이션 설정 중 어떤 티처-스터디언트 설정이 가장 높은 성능와 강건성을 보이는가?
• RQ3 데이터 증강, 비라벨 데이터 크기, 자기학습 반복 횟수는 모델 성능에 어떤 영향을 미치는가?
• RQ4 비라벨 음성에서 유도된 대규모 합성 테스트 데이터는 자원이 부족한 환경에서 모델 평가의 신뢰성을 향상시키는가?
• RQ5 간단한 기본 모델이 제안된 SSL 방법을 사용해 어느 정도까지 최신 기술 수준의 성능에 도달할 수 있는가?

주요 결과

• 일관성 정규화를 적용한 노이지 스터디언트 모델은 두 번의 자기학습 반복 후 평균 전체 정확도(OA) 81.1%를 기록하여 다른 설정보다 높은 성능를 확보했다.
• 제안된 SSL 방법은 메들리DB 및 AST218를 포함한 여러 테스트 세트에서 기본 모델의 OA를 4.5~8.5% 향상시켰다.
• AST218와 같이 도전적인 데이터셋에서 성능 향상이 가장 두드러졌으며, 복잡한 오디오 혼합과 다양한 보컬 특성에 대한 강건성을 입증했다.
• 반복적 자기학습은 두 번의 반복까지 성능 향상을 이끌었고, 이후에는 성능이 정체되거나 약간 감소하는 경향을 보여, 과도한 반복 횟수는 오류 확산 위험을 동반함을 시사했다.
• 이 방법을 통해 기본 컨볼루션 순환 신경망이 메들리DB 및 MIREX05에서 최신 기술 수준의 모델과 유사한 성능을 달성할 수 있었다.
• 다중 트랙 음성의 분석-합성 기반으로 생성된 인위적 테스트 데이터는 평가에 효과적이었으며, 레이블이 부족한 상황에서의 방법의 신뢰성을 강화했다.