[논문 리뷰] Learning and Evaluating Musical Features with Deep Autoencoders

Mason Bretan, Sageev Oore외 2명|arXiv (Cornell University)|2017. 06. 14.

Music and Audio Processing참고 문헌 2인용 수 5

한 줄 요약

이 논문은 심벌 피아노 롤 데이터로부터 4박자 음악 세그먼트의 연속적이고 저차원의 임베딩을 학습하기 위해 딥 오토인코더를 제안한다. 노이즈 제거, 컨텍스트 복원, 전방 예측, 작곡가 식별을 위한 훈련을 통해, 모델은 전방 예측 및 작곡가 분류 모두에서 최신 기술 수준의 성능을 달성하였으며, 컨텍스트 복원 및 정규화된 모델이 가장 뛰어난 결과를 보였다.

ABSTRACT

In this work we describe and evaluate methods to learn musical embeddings. Each embedding is a vector that represents four contiguous beats of music and is derived from a symbolic representation. We consider autoencoding-based methods including denoising autoencoders, and context reconstruction, and evaluate the resulting embeddings on a forward prediction and a classification task.

연구 동기 및 목표

• 장르나 작곡가와 같은 이산적 레이블에 의존하지 않는 확장 가능하고 연속적인 음악 표현 방식을 개발하기 위해.
• 학습된 임베딩이 예측 및 분류와 같은 핵심 음악 작업을 지원할 수 있는지 평가하기 위해.
• 음악적으로 의미 있는 표현을 학습하기 위해 다양한 오토인코더 기반 훈련 목표를 비교하기 위해.
• 작곡가 식별과 같은 보조 작업이 학습된 임베딩의 품질을 향상시키는지 조사하기 위해.

제안 방법

• 시간 정밀도를 확보하기 위해 틱당 비트 수를 사용하여 60피치 피아노 롤로 음악을 표현한다.
• 랜덤한 노트 삭제, 비트 삭제, 옥타브 분할을 통해 노이즈 제거 목표를 사용하여 딥 오토인코더를 훈련시켜 강건성을 향상시킨다.
• 주변 컨텍스트에서 중심 4박자 세그먼트를 예측함으로써 컨텍스트 복원을 구현한다.
• 이전 7개 단위에서 다음 4박자 단위를 예측할 수 있도록 전방 예측 네트워크를 훈련시킨다.
• 27명의 작곡가로 나누어 임베딩을 분류하기 위해 소프트맥스 출력층을 사용하여 작곡가 식별 네트워크를 훈련시킨다.
• 컨텍스트 복원 네트워크에 정규화를 적용하여 컨텍스트 예측과 작곡가 분류를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 오토인코더 기반 방법은 이산적 레이블에 의존하지 않고도 의미 있는 저차원 임베딩을 심벌 음악에서 학습할 수 있는가?
• RQ2 노이즈 제거, 컨텍스트 복원, 전방 예측, 작곡가 식별과 같은 다양한 훈련 목표는 학습된 임베딩의 품질에 어떻게 영향을 미치는가?
• RQ3 컨텍스트 복원과 작곡가 식별을 결합하면 하류 작업에서 임베딩 성능이 향상되는가?
• RQ4 학습된 임베딩이 음악 생성 및 분류 작업을 얼마나 잘 지원하는가?
• RQ5 전방 예측 및 작곡가 분류 평가에서 임베딩의 성능은 어떻게 비교되는가?

주요 결과

• 컨텍스트 복원 오토인코더는 전방 예측 작업에서 가장 뛰어난 성능을 보였으며, 1000개 중 중앙순위 15를 기록했다.
• 작곡가 식별을 위한 훈련을 통해 학습된 모델은 0.76의 매크로-F1 스코어를 기록하여 다른 방법보다 유의미하게 뛰어났다.
• 정규화된 컨텍스트 복원 모델은 예측에서 중앙순위 30, 매크로-F1 스코어 0.66을 기록하여 작업 간 균형이 잘 잡힌 성능을 보였다.
• 모든 모델에서 순위 분포가 유의미하게 다름(p < 0.00037, 보너페리 보정 후), 각기 다른 성능 특성을 지닌다는 것을 시사한다.
• 모델 간 순위 분포의 산포가 유의미하게 다름(레벤의 검정 p < 0.001), 예측 일관성의 차이를 시사한다.
• 전방 예측 모델은 가장 낮은 산포(47)와 가장 높은 왜도(4.0)를 보였으며, 다른 모델들에 비해 극단적인 이방성 예측이 더 많다는 것을 의미한다.