[논문 리뷰] Adversarial Learning for Improved Onsets and Frames Music Transcription

Jong Wook Kim, Juan Pablo Bello|arXiv (Cornell University)|2019. 06. 20.

Music and Audio Processing참고 문헌 45인용 수 21

한 줄 요약

이 논문은 시간-주파수 표현에서 레이블 간 상관관계를 모델링하기 위해 조건부 GAN을 사용하여 Onsets and Frames 모델의 예측을 개선하는 적대적 훈련 프레임워크를 제안한다. 이 방법은 더 선명하고 확신 있는 출력을 생성함으로써 오류율을 감소시키고 일반화 능력을 향상시켜, F1 점수(프레임 및 노트)에서 유의미한 향상(p < 10⁻¹⁴)을 이룬다.

ABSTRACT

Automatic music transcription is considered to be one of the hardest problems in music information retrieval, yet recent deep learning approaches have achieved substantial improvements on transcription performance. These approaches commonly employ supervised learning models that predict various time-frequency representations, by minimizing element-wise losses such as the cross entropy function. However, applying the loss in this manner assumes conditional independence of each label given the input, and thus cannot accurately express inter-label dependencies. To address this issue, we introduce an adversarial training scheme that operates directly on the time-frequency representations and makes the output distribution closer to the ground-truth. Through adversarial learning, we achieve a consistent improvement in both frame-level and note-level metrics over Onsets and Frames, a state-of-the-art music transcription model. Our results show that adversarial learning can significantly reduce the error rate while increasing the confidence of the model estimations. Our approach is generic and applicable to any transcription model based on multi-label predictions, which are very common in music signal analysis.

연구 동기 및 목표

• 표준 지도 학습이 레이블 간 조건부 독립을 가정하고 시간-주파수 표현에서 레이블 간 상관관계를 모델링하지 못하는 한계를 해결한다.
• Onsets and Frames와 같은 최신 모델의 성능을 적대적 훈련을 통한 구조적 예측으로 향상시킨다.
• 노트 활성화의 더 정확한 공동 분포를 학습함으로써 전사 오류를 줄이고 예측의 확신을 높인다.
• 적대적 훈련이 일반화 능력을 향상시키고, 볼 수 없는 데이터에 대한 과적합을 줄이는 정규화 요소로 작용함을 보여준다.
• 음악 신호 분석에서 다중 레이블 시간-주파수 표현을 예측하는 모든 모델에 적용 가능한 일반적이고 즉시 통합 가능한 솔루션을 제공한다.

제안 방법

• 전사 모델을 조건부 생성자로 사용하고, 진짜 진짜 레이블 표현과 생성된 예측을 구분하도록 훈련하는 판별자로 구성된 조건부 생성 적대적 네트워크(cGAN)를 도입한다.
• 생성자가 실제 데이터 분포에 더 가까운 출력 분포를 생성하도록 유도하는 적대적 손실을 적용함으로써 시간 및 주파수 축을 따라 복잡한 레이블 간 상관관계를 모델링한다.
• 훈련을 안정화하고 생성된 후행도그램의 품질을 향상시키기 위해 최소 제곱 GAN 또는 비포화 GAN 손실을 사용한다.
• 판별자가 실제적이며 고신뢰도의 노트 시퀀스를 선호하는 학습된 사전을 제공하도록 생성자와 판별자를 경쟁적으로 훈련한다.
• 요소별 교차 엔트로피 손실과 병행하여 다목적 훈련 체계에서 적대적 손실을 통합함으로써 정확성을 유지하면서도 구조적 일致성을 향상시킨다.
• 더욱 견고한 성능을 위해 훈련 중에 미스업 증강을 적용하였으며, 최적의 성능은 α = 0.3에서 관찰되었다.

실험 결과

연구 질문

• RQ1 요소별 손실이 달성할 수 있는 것 이상으로, 적대적 훈련이 이차원 음악 전사 출력에서 레이블 간 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 GAN 기반 정규화 요소가 제한된 데이터로 훈련된 음악 전사 모델의 일반화 능력을 향상시키고 과적합을 줄일 수 있는가?
• RQ3 적대적 학습이 어떤 정도로 フレーム 수준 및 음역 수준의 전사 지표에서 예측의 확신을 높이고 흐릿한 출력을 줄이는가?
• RQ4 F1 점수, 재현율, 정밀도 등 다양한 평가 지표에서 Onsets and Frames와 같은 강력한 베이스라인에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 이 적대적 프레임워크는 음악 및 오디오 처리에서 다중 레이블 시간-주파수 표현을 예측하는 다른 모델에 일반화되고 이식 가능한가?

주요 결과

• 제안된 적대적 방법은 MAESTRO 테스트 세트에서 모든 지표에 대해 p < 10⁻¹⁴의 유의미한 향상을 이룩하여, 프레임 F1(최대 0.914)과 노트 F1(최대 0.956) 모두에서 뚜렷한 개선을 보였다.
• 예측 후행도그램이 더 선명하고 확신이 더 강해졌으며, 모호한 범위(0.1–0.9)에 속하는 값의 수가 줄어들어 후처리 단계에서 임계치 설정에 대한 민감도가 감소했다.
• 훈련 F1 점수와 검증 F1 점수 간의 일반화 갭이 크게 감소하여, GAN 손실이 효과적인 정규화 요소로 작용함을 시사한다.
• α = 0.3인 미스업 강도와 함께 비포화 GAN 손실이 가장 우수한 성능을 보였으며, 베이스라인 및 다른 GAN 변종보다 뛰어났다.
• 성능 향상은 트랙 전체에 걸쳐 균일하게 분포되어 있어 국소적 개선이 아니라 강건하고 광범위한 적용 가능성을 시사한다.
• 이 방법은 음성 및 음악 합성 분야의 다중 레이블 시간-주파수 예측에 의존하는 모든 모델에 일반적으로 적용 가능한 것으로 확인되었다.