[논문 리뷰] Polyphonic Piano Transcription Using Autoregressive Multi-State Note Model

Taegyun Kwon, Dasaem Jeong외 1명|arXiv (Cornell University)|2020. 10. 02.

Music and Audio Processing참고 문헌 28인용 수 8

한 줄 요약

이 논문은 다성분 피아노 변환을 위한 통합 자동회귀 다상태 노트 모델을 제안하며, 단일 소프트맥스 출력을 통해 도입, 지속, 재도입, 종료 및 종료 이외의 상태를 예측하고, 자동회귀 RNN를 통해 시간적 의존성을 학습합니다. 이 모델은 이전 방법들보다 적은 파라미터로 MAESTRO 데이터셋에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

Recent advances in polyphonic piano transcription have been made primarily by a deliberate design of neural network architectures that detect different note states such as onset or sustain and model the temporal evolution of the states. The majority of them, however, use separate neural networks for each note state, thereby optimizing multiple loss functions, and also they handle the temporal evolution of note states by abstract connections between the state-wise neural networks or using a post-processing module. In this paper, we propose a unified neural network architecture where multiple note states are predicted as a softmax output with a single loss function and the temporal order is learned by an auto-regressive connection within the single neural network. This compact model allows to increase note states without architectural complexity. Using the MAESTRO dataset, we examine various combinations of multiple note states including on, onset, sustain, re-onset, offset, and off. We also show that the autoregressive module effectively learns inter-state dependency of notes. Finally, we show that our proposed model achieves performance comparable to state-of-the-arts with fewer parameters.

연구 동기 및 목표

• 각 상태에 대해 별도의 네트워크를 사용하는 기존의 다상태 노트 모델링 방법에서 발생하는 아키텍처의 복잡성과 손실 함수의 증가 문제를 해결하기 위해.
• 노트 상태 예측과 시간적 의존성 모델링을 하나의 신경망에 통합하여 모델 복잡성을 감소시키기 위해.
• 다양한 다상태 표현 방식(도입, 지속, 재도입, 종료, 종료 이외)이 변환 성능에 미치는 영향을 조사하기 위해.
• 상태 간 의존성을 더 정확하게 포착하기 위해 자동회귀 연결이 얼마나 효과적인지 평가하기 위해.
• 단순하고 통합된 아키텍처가 더 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 모델은 음성 입력에서 프레임 수준의 음향 특징을 추출하기 위해 CNN을 사용합니다.
• 단일 RNN이 이러한 특징을 처리하고 통합된 상태 공간에 대한 소프트맥스 출력을 통해 다중 노트 상태를 예측합니다.
• 시간 순서는 이전 출력에 조건부인 자동회귀 연결을 통해 모델링됩니다.
• 다중 상태 레이블에 대한 단일 크로스 엔트로피 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련합니다.
• 추론은 프레임 수준의 상태 예측에서 피아노 롤 출력을 생성하기 위해 그레디 또는 빔 서치 디코딩을 사용합니다.
• 표준 평가 지표를 사용해 MAESTRO 데이터셋에서 모델을 평가합니다: 노트 도입 F1, 노트 종료 포함 F1, 및 프레임 수준 F1.

실험 결과

연구 질문

• RQ1 통합 다상태 노트 예측 프레임워크는 각 상태에 별도의 네트워크를 사용하는 방법과 비교해 성능 및 파라미터 효율성 측면에서 어떻게 다릅니까?
• RQ2 재도입, 종료 등 추가적인 노트 상태를 포함할 경우 변환 정확도에 어떤 영향을 미칩니까?
• RQ3 비자동회귀 기반 모델과 비교해 자동회귀 연결이 상태 간 의존성을 얼마나 효과적으로 모델링합니까?
• RQ4 단일이고 컴act한 네트워크에서 다중 상태에 대한 소프트맥스 출력을 사용해 최신 기술 수준의 성능를 달성할 수 있습니까?
• RQ5 왜 빔 서치가 이 설정에서 그레디 디코딩보다 성능이 열 劣하나요? 이는 모델 캘리브레이션에 대해 어떤 시사점을 줍니까?

주요 결과

• 그레디 디코딩을 사용할 경우 제안된 모델은 노트 도입 F1 점수 0.9467을 기록하며, 최신 기술 수준의 Onsets and Frames 모델과 유사한 성능을 달성합니다.
• 도입 및 종료 상태의 포함이 노트 도입 및 노트 종료 포함 F1 점수에 크게 기여하며, 'Five' 모델(도입, 지속, 재도입, 종료, 종료 이외)이 가장 높은 성능을 기록합니다.
• 자동회귀 모듈은 비자동회귀 대비 노트 도입 및 종료 F1 점수를 향상시켜 상태 간 의존성 학습이 효과적으로 이루어졌음을 입증합니다.
• 신뢰도 캘리브레이션 다이어그램을 통해 모델은 지속 예측에 대해 과신하고 종료 프레임 예측에 대해 과소신임을 보이며, 이는 빔 서치의 성능 열 劣를 설명할 수 있습니다.
• 단방향 RNN을 사용하고도 파라미터 수가 적은데도 불구하고 최신 기술 수준의 모델과 동등한 성능을 달성함으로써 높은 파라미터 효율성을 입증합니다.
• 시각화 결과 자동회귀 모델은 비자동회귀 모델이 보이는 짧고 흐릿한 도입 현상 없이 더 현실적이고 연속적인 상태 전이를 생성함을 확인할 수 있습니다.