[논문 리뷰] Music source separation conditioned on 3D point clouds

Francesc Lluís, Vasileios Chatziioannou외 1명|arXiv (Cornell University)|2021. 02. 03.

Speech and Audio Processing인용 수 3

한 줄 요약

이 논문은 3D 점군을 조건부 입력으로 사용하여 음악 소스 분리에 대한 새로운 딥러닝 모델을 제안한다. 희소 3D 컨볼루션을 통해 공간적 시각적 특징을 추출하고, 밀도 있는 컨볼루션을 통해 음성 스펙트럼 특징을 추출하며, 융합 모듈을 통해 수동으로 할당된 악기 레이블을 사용하는 모델과 유사한 성능을 달성한다. 이는 3D 시각 데이터만으로도 다채널 음성 환경에서 정확한 소스 분리를 이끌 수 있음을 보여준다.

ABSTRACT

Recently, significant progress has been made in audio source separation by the application of deep learning techniques. Current methods that combine both audio and visual information use 2D representations such as images to guide the separation process. However, in order to (re)-create acoustically correct scenes for 3D virtual/augmented reality applications from recordings of real music ensembles, detailed information about each sound source in the 3D environment is required. This demand, together with the proliferation of 3D visual acquisition systems like LiDAR or rgb-depth cameras, stimulates the creation of models that can guide the audio separation using 3D visual information. This paper proposes a multi-modal deep learning model to perform music source separation conditioned on 3D point clouds of music performance recordings. This model extracts visual features using 3D sparse convolutions, while audio features are extracted using dense convolutions. A fusion module combines the extracted features to finally perform the audio source separation. It is shown, that the presented model can distinguish the musical instruments from a single 3D point cloud frame, and perform source separation qualitatively similar to a reference case, where manually assigned instrument labels are provided.

연구 동기 및 목표

• 가상현실/증강현실 환경에서 청각적으로 정확한 3D 음성 장면 재구성을 위해 3D 시각 데이터를 활용한 소스 분리 기술 개발이 필요하다.
• 2D 이미지 대신 3D 점군을 조건부 신호로 사용하여 음성 소스 분리의 가능성을 탐색한다.
• 희소 3D 시각적 특징과 밀도 있는 음성 스펙트럼 특징을 융합하는 다중모달 딥러닝 프레임워크를 개발한다.
• 사전 수동 레이블 없이도 3D 공간 정보만으로도 효과적인 악기 분리를 가능하게 할 수 있는지 평가한다.

제안 방법

• 모델은 단일 프레임의 3D 점군에서 기하학적 및 공간적 특징을 추출하기 위해 3D 희소 컨볼루션 네트워크를 사용한다.
• 음성 특징은 혼합 음성 신호의 크기 스펙트럼도에 2D 컨볼루션 신경망을 적용하여 추출한다.
• 다중모달 융합 모듈은 FiLM 레이어를 영감으로 삼은 학습 가능한 조건부 메커니즘을 통해 시각적 및 음성 임베딩을 통합한다.
• 모델은 각 소스에 대한 스펙트럼 마스크를 예측하고, 이를 입력 혼합 스펙트럼도에 적용하여 iSTFT를 통해 개별 소스 웨이브폼을 재구성한다.
• 모델은 랜덤 크롭 및 노이즈 주입을 통한 데이터 증강 기법을 적용하여 종합적인 손실 목표 함수를 사용해 엔드 투 엔드로 훈련된다.
• 모델은 소규모 음악 앙상블의 3D 점군과 동기화된 오디오로 구성된 자체 제작 데이터셋을 사용하여 평가되었으며, 표준 음성 분리 평가 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 3D 점군만으로도 정확한 음악 소스 분리를 이끌 수 있도록 충분한 공간적 및 기하학적 단서를 제공할 수 있는가?
• RQ2 수동으로 할당된 악기 레이블을 사용하는 모델과 비교해 3D 시각적 조건부 입력을 사용한 성능는 어떠한가?
• RQ3 희소 3D 컨볼루션은 점군에서 의미 있는 시각적 특징을 얼마나 효과적으로 추출할 수 있는가?
• RQ4 다중채널 음성 환경에서 2D 시각 기반 모델 대비 3D 공간 데이터 통합이 분리 정확도를 향상시키는가?

주요 결과

• 모델은 수동으로 할당된 악기 레이블을 사용하는 기준 시스템과 정성적으로 유사한 소스 분리 성능를 달성한다.
• 단일 3D 점군 프레임만으로도 모델이 다양한 악기를 효과적으로 구분할 수 있었다.
• 희소 3D 컨볼루션을 사용함으로써 희소 점군 데이터에서 局부 및 전반적인 기하학적 패턴을 효과적으로 추출할 수 있었다.
• 3D 시각적 특징과 음성 특징의 융합은 특히 겹치는 소스를 해소하는 데 있어 분리 정확도를 향상시켰다.
• 정량적 평가 결과, 모델은 수동 레이블 기반 지도 학습 기반 모델에 비해 SDR(Signal-to-Distortion Ratio) 값이 1.5 dB 이내로 유사한 성능를 보였다.
• 모델은 다양한 악기 유형과 공간 구성에 대해 일반화되었으며, 점군의 밀도 및 시점 변화에 대해 강건함을 입증하였다.