[논문 리뷰] Music Gesture for Visual Sound Separation

Chuang Gan, Deng Huang외 3명|arXiv (Cornell University)|2020. 04. 20.

Speech and Audio Processing참고 문헌 56인용 수 6

한 줄 요약

이 논문은 뮤지션의 신체 및 손가락 움직임을 모델링하는 키포인트 기반 시각적 표현인 Music Gesture를 제안한다. 이는 시각적 사운드 분리 성능을 향상시키기 위한 것이다. 문맥 인식 그래프 네트워크와 오디오-시각 융합 모듈을 통합함으로써, 이 방법은 이질적 및 동종의 음악 악기 분리에서 최신 기술 수준의 성능을 달성하였으며, 특히 피아노, 플루트, 트럼펫 듀엣에 대해 처음으로 성과를 내었다.

ABSTRACT

Recent deep learning approaches have achieved impressive performance on visual sound separation tasks. However, these approaches are mostly built on appearance and optical flow like motion feature representations, which exhibit limited abilities to find the correlations between audio signals and visual points, especially when separating multiple instruments of the same types, such as multiple violins in a scene. To address this, we propose "Music Gesture," a keypoint-based structured representation to explicitly model the body and finger movements of musicians when they perform music. We first adopt a context-aware graph network to integrate visual semantic context with body dynamics, and then apply an audio-visual fusion model to associate body movements with the corresponding audio signals. Experimental results on three music performance datasets show: 1) strong improvements upon benchmark metrics for hetero-musical separation tasks (i.e. different instruments); 2) new ability for effective homo-musical separation for piano, flute, and trumpet duets, which to our best knowledge has never been achieved with alternative methods. Project page: http://music-gesture.csail.mit.edu.

연구 동기 및 목표

• 기존의 시각적 사운드 분리 모델이 외관 또는 옵티컬 플로우 특징에 의존하여 유사한 악기(예: 여러 개의 바이올린)를 구분하지 못하는 한계를 해결한다.
• 동일한 악기 유형(예: 두 대의 피아노)에서 오디오 소스를 효과적으로 분리할 수 있도록 한다. 이는 이전 기술로는 해결되지 못한 과제였다.
• 키포인트 추적을 통해 구조화된 인간의 신체 및 손가락 운동 신호를 활용하여 오디오-시각 정렬 및 소스 분리를 향상시킨다.
• 동적 시각적 키포인트를 조건으로 삼는 강력한 오디오-시각 융합 메커니즘을 개발한다.
• 세부적인 수동 제스처를 보이는 악기들(예: 플루트, 트럼펫)을 포함한 다양한 음악 악기들에 대해 일반화 능력을 입증한다.

제안 방법

• 비디오 프레임에서 시각적 의미적 맥락과 인간의 신체 운동을 동시에 모델링하기 위해 문맥 인식 그래프 신경망을 사용한다.
• 포즈 추정 백본을 통해 뮤지션의 신체 및 손가락의 2차원 키포인트 좌표를 추출하여 음악 제스처의 구조화된 표현을 형성한다.
• 관련 있는 신체 키포인트에 주목하고, 시각적 운동 신호에 따라 오디오 특징을 조절하는 오디오-시각 융합 모듈을 설계한다.
• 먼저 다악기 분리에서, 이후 동종 악기 듀엣에서의 미세조정을 위해, 자율학습 기반의 믹스-세퍼레이트 프레임워크로 모델을 훈련시킨다.
• 더 쉬운(이질적)에서 더 어려운(동종) 분리 과제로 점진적으로 학습하는 커리큘럼 학습 전략을 적용한다.
• 자동 SDR 점수와 Amazon Mechanical Turk에서의 인간 평가를 모두 활용하여 분리 품질을 평가한다.

실험 결과

연구 질문

• RQ1 신체 및 손가락 운동의 구조화된 키포인트 기반 표현이, 외관과 옵티컬 플로우 특징을 넘어서 시각적 사운드 분리 성능을 향상시킬 수 있는가?
• RQ2 음악 제스처를 명시적으로 모델링함으로써, 같은 악기 종류(예: 피아노 또는 플루트 듀엣)에서 오디오 소스를 효과적으로 분리할 수 있는가?
• RQ3 오디오-시각 융합 모듈의 어텐션 메커니즘이 분리 과정에서 다양한 신체 부위에 어떻게 집중하는가?
• RQ4 다양한 물리적 제스처 복잡도를 가진 악기들에 대해 제안된 방법이 일반화되는가?
• RQ5 카메라 시점 변화와 부분적 가림이 있는 실생활 조건에서도 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 Music Gesture 모델은 SoM [56] 대비 피아노 듀엣에서 3.8 dB, 플루트 듀엣에서 5.3 dB의 SDR 향상을 기록하여 동종 분리에서 뛰어난 성능을 보였다.
• 인간 평가 결과, 피아노 듀엣에서 70%의 선호도를 기록했고, 플루트 듀엣에서는 86%로, 더 뛰어난 청각적 품질을 입증했다.
• 바이올린 듀엣에서는 6.7 SDR, 첼로 듀엣에서는 6.1 SDR를 기록하여 SoM의 6.3과 5.4를 각각 초월했으며, 이는 이질적 과제에서의 일관된 성과 향상을 보였다.
• 어텐션 맵의 시각화 결과, 플루트나 기타와 같은 악기에서는 손가락 키포인트에 집중하는 것으로 나타났고, 첼로나 바이올린과 같은 끈으로 연주하는 악기에서는 팔꿈치 부위에 집중하는 것으로 관찰되었다.
• 실제 혼합 신호에서 SoM보다 더 강건한 성능을 보였으며, SDR 점수는 유사했지만 인간 평가에서 유의미하게 더 높은 선호도를 보였다.
• 이로 인해 피아노, 플루트, 트럼펫의 동종 듀엣 분리에 대해 이전에 해결되지 못했던 문제를 처음으로 효과적으로 해결함을 입증했다.