[논문 리뷰] Learning Disentangled Representations for Timber and Pitch in Music Audio

Yun-Ning Hung, Yi‐An Chen외 1명|arXiv (Cornell University)|2018. 11. 08.

Music and Audio Processing참고 문헌 25인용 수 13

한 줄 요약

이 논문은 원시 음성에서 프레임 수준의 악기 및 편성 레이블을 사용하여 음색과 편성의 분리된 표현을 학습하는 두 가지 딥 컨volution 오토에인커 모델—DuoAE와 UnetAE—을 제안한다. 정렬된 MIDI 피아노롤을 통한 시간적 지도와 적대적 훈련을 활용함으로써, 음색 교환을 통한 오디오 도메인 음악 편집이 가능해지며, UnetAE는 음색 이동 중 편성 구조를 보존하는 데서 뛰어난 성능을 보였다.

ABSTRACT

Timbre and pitch are the two main perceptual properties of musical sounds. Depending on the target applications, we sometimes prefer to focus on one of them, while reducing the effect of the other. Researchers have managed to hand-craft such timbre-invariant or pitch-invariant features using domain knowledge and signal processing techniques, but it remains difficult to disentangle them in the resulting feature representations. Drawing upon state-of-the-art techniques in representation learning, we propose in this paper two deep convolutional neural network models for learning disentangled representation of musical timbre and pitch. Both models use encoders/decoders and adversarial training to learn music representations, but the second model additionally uses skip connections to deal with the pitch information. As music is an art of time, the two models are supervised by frame-level instrument and pitch labels using a new dataset collected from MuseScore. We compare the result of the two disentangling models with a new evaluation protocol called "timbre crossover", which leads to interesting applications in audio-domain music editing. Via various objective evaluations, we show that the second model can better change the instrumentation of a multi-instrument music piece without much affecting the pitch structure. By disentangling timbre and pitch, we envision that the model can contribute to generating more realistic music audio as well.

연구 동기 및 목표

• 원시 오디오에서 음색과 편성을 분리된 표현으로 학습시켜 오디오 편집 능력을 향상시키기 위한 딥 러닝 모델을 개발하는 것.
• 수작업 특징에 의존하고 직접적인 분리 평가가 어려운 전통적 신호 처리 방법의 한계를 해결하는 것.
• 시간적 지도를 통해 프레임 수준의 MIDI 애너테이션에서 유래한 데이터 기반, 엔드 투 엔드의 분리된 표현 학습을 가능하게 하는 것.
• 편성 구조를 유지하면서 음색을 조작함으로써 오디오 도메인 음악 편집의 가능성을 입증하는 것.
• 표현 학습에서 분리의 질을 정량적으로 평가하기 위해 새로운 평가 프로토콜인 '음색 교환(timbre crossover)'을 도입하는 것.

제안 방법

• 모델들은 음색과 편성에 대해 분리된 잠재 표현을 생성하기 위해 원시 오디오 스펙트로그램을 매핑하는 공유 가중치를 가진 인코더-디코더 아키텍처를 사용한다.
• 분리의 강제화를 위해 적대적 훈련을 적용하여, 음색 및 편성 구성 요소에 대해 평균이 0인 임베딩 예측을 유도한다.
• 시간적 지도는 시간으로 정렬된 MIDI 파일에서 유도된 프레임 수준의 악기 및 편성 레이블을 통해 적용되며, 노트 수준에서 정밀한 지도를 가능하게 한다.
• UnetAE 모델은 인코더에서 디코더로 편성 정보가 직접 흐르도록 하는 대칭 스킵 연결을 통합하여 편성 복원 성능을 향상시킨다.
• 모델들은 원시 오디오가 아닌 심볼릭 피아노롤 표현(각 악기 및 편성에 대한 노트 온/오프)을 복원하도록 훈련되어, 더 나은 분리가 가능해진다.
• 새로운 평가 프로토콜인 '음색 교환'을 도입하여, 클립 간 음색 표현을 교환하면서 편성을 유지함으로써 분리의 질을 정량적으로 평가할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 적대적 훈련과 시간적 지도를 갖춘 딥 오토에인커는 음악 오디오에서 음색과 편성을 분리된 표현으로 학습할 수 있는가?
• RQ2 기존의 표준 지표와 비교해 볼 때, 제안된 '음색 교환' 평가 프로토콜은 분리의 질을 측정하는 데 얼마나 효과적인가?
• RQ3 UnetAE 아키텍처의 스킵 연결은 음색 이동 중 편성 보존에 얼마나 기여하는가?
• RQ4 학습된 표현은 재녹음 없이도 현실적인 오디오 도메인 음악 편집을 가능하게 하는가?
• RQ5 출력 타깃으로 피아노롤을 사용할지 CQT를 사용할지의 선택은 분리된 표현 학습 성능에 어떤 영향을 미치는가?

주요 결과

• UnetAE 모델은 음색 교환에서 69.1%의 편성 정확도를 달성하여, DuoAE(42.8%) 및 적대적 훈련이 없는 아블레이션 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 피아노롤을 타깃 출력으로 사용할 경우 CQT를 사용한 경우보다 악기 인식 정확도가 9.6% 향상되고 편성 정확도가 5.3% 향상되어 시간적 지도의 이점을 확인했다.
• UnetAE에서 스킵 연결을 제거하면 전사 정확도가 0.407로 떨어지고 음색 교환에서 편성 정확도가 0.068로 급격히 하락하여, 스킵 연결이 편성 보존에 핵심적인 역할을 한다는 것을 입증했다.
• 피아노에서 바이올라로의 음색 교환 후 생성된 오디오의 스펙트로그램은 더 긴 지속성과 강한 고조파를 포함한 주요 음향적 특징을 성공적으로 반영했다.
• 아블레이션 연구를 통해 적대적 훈련이나 적절한 지도 없이 모델의 음색과 편성 분리 능력이 심각하게 떨어짐을 확인했다.
• 다소 유망한 결과에도 불구하고 오디오 품질는 여전히 최적화되지 않아 WaveNet이나 멀티밴드 아키텍처와 같은 고급 디코더를 통해 향상 가능성이 있음이 시사되었다.