[논문 리뷰] Virtual Piano using Computer Vision

Seongjae Kang, Jaeyoon Kim외 1명|arXiv (Cornell University)|2019. 10. 28.

Music and Audio Processing참고 문헌 13인용 수 7

한 줄 요약

이 논문은 Hough 변환, 이진 임계 처리 및 새로운 시공간 CNN 아키텍처를 사용하여 시각적 입력에서 키 누름 상태와 속도를 유일하게 탐지하는 컴퓨터 비전 기반 가상 피아노 시스템을 제안한다. 스택드 차분 이미지 특징을 사용할 경우 흰 키와 검은 키의 강도 수준을 각각 53.2% 및 57.8%의 정확도로 분류하며, 소동작 감도에서 광학 흐름 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In this research, Piano performances have been analyzed only based on visual information. Computer vision algorithms, e.g., Hough transform and binary thresholding, have been applied to find where the keyboard and specific keys are located. At the same time, Convolutional Neural Networks(CNNs) has been also utilized to find whether specific keys are pressed or not, and how much intensity the keys are pressed only based on visual information. Especially for detecting intensity, a new method of utilizing spatial, temporal CNNs model is devised. Early fusion technique is especially applied in temporal CNNs architecture to analyze hand movement. We also make a new dataset for training each model. Especially when finding an intensity of a pressed key, both of video frames and their optical flow images are used to train models to find effectiveness.

연구 동기 및 목표

• 음향 입력 없이도 시각적 데이터만을 사용하여 전체 피아노 연주 분석을 가능하게 하기 위해.
• 누른 키의 종류뿐만 아니라 각 키 누름의 강도를 탐지하기 위해.
• 미세한 손 움직임과 키 압력 변화를 처리할 수 있는 새로운 데이터셋과 모델 아키텍처 개발을 위해.
• 강도 추정에 있어 광학 흐름 대비 스택드 이미지 특징의 효과를 평가하기 위해.

제안 방법

• 입력 비디오 프레임에서 Hough 변환과 이진 임계 처리를 사용하여 피아노 키보드와 개별 키를 감지한다.
• 현재 프레임과 배경 이미지 간의 차분 이미지에서 특징 벡터를 추출하여 키 누름 변화를 포착한다.
• 스택드 이미지 시퀀스로부터 공간적 및 시간적 특징을 통합하는 3D CNN 아키텍처에서 조기 융합을 적용한다.
• 광학 흐름 맵을 별도의 3D CNN 변형의 입력으로 사용하여 운동 기반 강도 탐지 성능을 비교한다.
• 강도 수준의 레이블 연속성을 고려하기 위해 Kullback–Leibler 발산 손실을 사용한 분포 레이블링을 통해 모델을 훈련시킨다.
• 강도 및 누름 탐지 작업 모두에 대해 고정 학습률 0.001로 15 에포크 동안 Adam 옵timizer를 사용한다.

실험 결과

연구 질문

• RQ1 소리 신호 없이도 시각적 데이터만을 사용하여 피아노 연주에서 키 누름 강도를 정확하게 추정할 수 있는가?
• RQ2 광학 흐름이 스택드 차분 이미지 대비 미세한 키 압력 변화 탐지에 얼마나 효과적인가?
• RQ3 3D CNN에서 공간적 및 시간적 특징의 조기 융합이 표준 2D CNN보다 강도 분류 성능을 향상시키는가?
• RQ4 Kullback–Leibler 발산 손실을 사용한 레이블 분포 모델링이 연속적인 강도 레이블에 대한 성능에 어떤 영향을 미치는가?
• RQ5 입력 해상도와 운동 스케일은 광학 흐름 기반 강도 추정에 어떤 영향을 미치는가?

주요 결과

• 시스템은 음성 신호 없이도 침묵한 비디오의 시각적 신호만을 사용하여 어떤 키가 눌렸는지 및 얼마나 오랫동안 눌렸는지 성공적으로 탐지한다.
• 스택드 차분 이미지 특징을 사용할 경우 흰 키 강도 분류 정확도가 53.2%이며, 검은 키는 57.8%이다.
• 광학 흐름 기반 입력은 흰 키에서 50.2%, 검은 키에서 51.3%의 정확도를 보이며, 이는 소동작에 대한 감도가 떨어지기 때문에 더 낮은 성능을 의미한다.
• 성능 격차는 광학 흐름이 피아노 연주에서 흔히 나타나는 미세한 손 움직임 탐지에 큰 제스처보다 덜 적합함을 시사한다.
• Kullback–Leibler 발산 손실을 사용한 분포 레이블링은 연속적인 강도 레이블에 대한 모델 일반화 성능을 향상시킨다.
• 제안된 방법은 음향 없이도 고정밀도의 시각적 분석이 가능함을 입증하며, 음악 기술 및 연주 분석 분야의 새로운 애플리케이션을 가능하게 한다.