[논문 리뷰] Vision-based Detection of Acoustic Timed Events: a Case Study on Clarinet Note Onsets

Alessio Bazzica, Jan van Gemert외 2명|arXiv (Cornell University)|2017. 06. 29.

Music and Audio Processing참고 문헌 11인용 수 9

한 줄 요약

이 논문은 입술, 손, 클라리넷 끝부분과 같은 관심 영역에 초점을 맞춘 다중 공간 스트림을 갖춘 3D 컨볼루션 신경망을 사용하여 비디오 기반으로 클라리넷 연주에서 음정 시작점을 탐지하는 방법을 제안한다. 평균 F1 스코어는 25.7%에 그치며, 이는 오디오 전용 최신 기술(93.2%)에 비해 크게 낮아 시각적 음정 시작점 탐지의 과제와 향상된 최적화 및 모델링 전략의 필요성을 드러낸다.

ABSTRACT

Acoustic events often have a visual counterpart. Knowledge of visual information can aid the understanding of complex auditory scenes, even when only a stereo mixdown is available in the audio domain, \eg identifying which musicians are playing in large musical ensembles. In this paper, we consider a vision-based approach to note onset detection. As a case study we focus on challenging, real-world clarinetist videos and carry out preliminary experiments on a 3D convolutional neural network based on multiple streams and purposely avoiding temporal pooling. We release an audiovisual dataset with 4.5 hours of clarinetist videos together with cleaned annotations which include about 36,000 onsets and the coordinates for a number of salient points and regions of interest. By performing several training trials on our dataset, we learned that the problem is challenging. We found that the CNN model is highly sensitive to the optimization algorithm and hyper-parameters, and that treating the problem as binary classification may prevent the joint optimization of precision and recall. To encourage further research, we publicly share our dataset, annotations and all models and detail which issues we came across during our preliminary experiments.

연구 동기 및 목표

• 오디오 신호가 혼합되어 발생하는 복잡한 다악기 음악 환경에서 오디오 전용 방법이 실패하는 상황에서 음정 시작점을 탐지하는 과제를 해결하기 위해.
• 클라리니스트의 숨결, 손가락 움직임, 입술 자세 변화와 같은 시각적 단서가 음정 시작점을 신뢰성 있게 나타낼 수 있는지 탐색하기 위해.
• 오디오 신호에 의존하지 않고 다양한 연주자와 연주 스타일에 일반화 가능한 시각 기반 모델을 개발하기 위해.
• 연구를 위한 시각적 음정 시작점 탐지 및 관련 작업을 위해 36,000개의 음정 시작점과 4개의 관심 영역(ROIs)을 포함한 새로운 완전 주석 처리된 오디오비주얼 데이터셋(C4S)을 공개하기 위해.
• 학습 중 시각적 음정 시작점 탐지 모델의 주요 과제, 특히 최적화 민감도와 정밀도-재현율 간 상호보완적 관계를 규명하기 위해.

제안 방법

• 입술, 왼손, 오른손, 클라리넷 끝부분의 네 가지 관심 영역을 위한 전용 스트림을 갖춘 3D CNN 아키텍처를 제안하며, 시간 축에서의 풀링을 사용하지 않는다.
• 클래스 불균형 문제(음정 시작점 대비 비시작점 샘플)를 다루기 위해 가중치가 부여된 교차 엔트로피 손실 함수를 사용하며, 근접한 음정 시작점 샘플에는 부드러운 레이블 (0.75, 0.25)을 할당한다.
• RMSprop 최적화 알고리즘을 사용하며, 미니배치 학습(배치당 24개 샘플)을 실시하며, 비시작점 50%, 음정 시작점 25%, 근접 시작점 25% 비율로 균형을 맞춘다.
• ROIs의 무작위 자르기 방식의 데이터 증강을 통해 훈련 다양성과 강건성을 향상시킨다.
• 다른 클라리니스트 간 일반화 능력을 평가하기 위해 한 명의 피험자를 제외한 교차 검증(9개 분할)을 적용한다.
• 검증 F1 스코어와 손실 기반 조기 정지 전략을 통해 과적합을 방지하고 최적의 모델 체크포인트를 선택한다.

실험 결과

연구 질문

• RQ1 입술 자세 변화, 키 누름, 숨결과 같은 클라리니스트의 시각적 단서를 오디오 없이 음정 시작점을 신뢰성 있게 탐지하는 데 사용할 수 있는가?
• RQ2 동일한 작업에서 오디오 전용 최신 기술 대비 시각 기반 음정 시작점 탐지 모델의 성능은 어떻게 비교되는가?
• RQ3 딥 러닝 모델을 활용한 시각적 음정 시작점 탐지 학습에서 최적화 안정성과 하이퍼파rameter 민감도와 같은 주요 과제는 무엇인가?
• RQ4 정밀도와 재현율이 서로 어떻게 상관관계를 가지며, 현재의 이진 분류 설정에서 병렬 최적화를 향상시키기 위해 다른 손실 함수 설정이 가능한가?
• RQ5 연주 스타일과 외형의 차이가 있는 다양한 연주자 간에 시각 기반 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 시각 기반 모델은 50ms의 시간 허용 오차 범위에서 평균 F1 스코어 25.7%를 기록하였으며, 이는 오디오 전용 최신 기술(3D CNN 기반 음정 시작점 탐지의 93.2%)에 비해 크게 낮았다.
• 모델은 최적화 알고리즘, 하이퍼파rameter, 무작위 초기화에 매우 민감하며, 다양한 연주자 간에 학습 동역학이 크게 달라졌다.
• 학습 과정에서 정밀도와 재현율은 종종 부정적 상관관계를 보였으며, 이는 현재의 이진 분류 설정에서 두 지표를 동시에 최적화하는 데 어려움이 있음을 시사한다.
• 초기 학습 런에서는 기울기 소실과 뉴런 비활성화 현상이 나타났으나, 하이퍼파rameter 정교 조정과 손실 가중치 조정을 통해 이를 완화할 수 있었다.
• 일부 학습 런은 F1 스코어가 초기 값 이하로 유지되며 향상되지 않았으며, 이는 특정 분할에서 모델 붕괴 또는 수렴 불량이 발생했을 가능성이 있으며, 비최적의 초기화 또는 데이터 분포 이동이 원인일 수 있다.
• 4.5시간 분량의 영상, 36,000개의 주석 처리된 음정 시작점, 4개의 관심 영역을 포함한 C4S 데이터셋의 공개는 향후 시각적 음정 시작점 탐지 및 자세 추정, 운동 분석과 같은 관련 작업을 위한 기초를 제공한다.