[논문 리뷰] Similarity Embedding Network for Unsupervised Sequential Pattern Learning by Playing Music Puzzle Games.

Yu-Siang Huang, Szu-Yu Chou외 1명|arXiv (Cornell University)|2017. 09. 13.

Music and Audio Processing참고 문헌 24인용 수 1

한 줄 요약

이 논문은 음악 퍼즐 게임 과제(다수 초에 걸친 오디오 조각을 정확한 순서로 재정렬하는 것)를 통해 순차적인 음악 패턴을 학습하는 자기지도 학습 시amese 컨볼루션 네트워크인 유사도 임베딩 네트워크(Similaritiy Embedding Network, SEN)를 제안한다. SEN은 문단 수준의 유사도 임베딩을 향상시켜 연속적이고 올바른 순서의 조각 쌍을 더 잘 식별하도록 개선하여, 음악 조각 맞추기, 순서 정렬, 메들리 과제에서 베이스라인을 능가한다.

ABSTRACT

Generating music medleys is about finding an optimal permutation of a given set of music clips. Toward this goal, we propose a self-supervised learning task, called the music puzzle game, to train neural network models to learn the sequential patterns in music. In essence, such a game requires machines to correctly sort a few multisecond music fragments. In the training stage, we learn the model by sampling multiple non-overlapping fragment pairs from the same songs and seeking to predict whether a given pair is consecutive and is in the correct chronological order. For testing, we design a number of puzzle games with different difficulty levels, the most difficult one being music medley, which requiring sorting fragments from different songs. On the basis of state-of-the-art Siamese convolutional network, we propose an improved architecture that learns to embed frame-level similarity scores computed from the input fragment pairs to a common space, where fragment pairs in the correct order can be more easily identified. Our result shows that the resulting model, dubbed as the similarity embedding network (SEN), performs better than competing models across different games, including music jigsaw puzzle, music sequencing, and music medley. Example results can be found at our project website, this https URL.

연구 동기 및 목표

• 인간이 애너테이션한 정렬 정보 없이 음악의 순차적 패턴을 학습하는 데 도전하는 것.
• 모델이 오디오 조각들로부터 시간적 순서를 추론할 수 있도록 하는 자기지도 학습 프레임워크를 개발하는 것.
• 통제 가능하고 점진적인 난이도를 갖춘 퍼즐 게임을 통해 훈련하여 음악 메들리 생성을 위한 표현 학습을 향상시키는 것.
• 문단 수준의 유사도 점수를 효과적으로 공유된 공간으로 임베딩하여 더 나은 순차적 예측을 가능하게 하는 신경망 아키텍처를 설계하는 것.
• 단순한 조각 쌍 정렬에서부터 전체 음악 메들리 재구성에 이르기까지 복잡도가 증가하는 여러 과제에서 모델을 평가하는 것.

제안 방법

• 모델은 오디오 조각 쌍을 처리하기 위해 시amese 컨볼루션 네트워크 아키텍처를 사용한다.
• 훈련 중에 네트워크는 샘플링된 겹치지 않는 조각 쌍이 연속적이고 올바른 시간적 순서에 있는지를 예측하도록 최적화된다.
• 조각 쌍 간의 문단 수준의 유사도 점수는 학습된 변환을 통해 공유된 잠재 공간으로 임베딩된다.
• 임베딩 공간은 올바르게 순서가 지정된 연속적인 쌍이 비연속적이거나 뒤집힌 쌍보다 더 쉽게 식별되도록 최적화된다.
• 정확한 순서와 잘못된 순서의 조각 쌍을 구분하기 위해 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 테스트에는 다양한 퍼즐 게임 변형이 포함되며, 가장 복잡한 것은 서로 다른 곡의 조각들을 재정렬해야 하는 음악 메들리이다.

실험 결과

연구 질문

• RQ1 음악 퍼즐 게임을 통한 자기지도 학습이 음악의 순차적 패턴을 효과적으로 학습시킬 수 있는가?
• RQ2 제안된 유사도 임베딩 메커니즘이 표준 시amese 네트워크에 비해 올바른 조각 순서 식별 능력을 얼마나 향상시키는가?
• RQ3 학습된 표현이 단순한 순서 정렬에서 복잡한 메들리 재구성에 이르기까지 다양한 난이도 수준에서 얼마나 일반화되는가?
• RQ4 기존의 무 supervision 또는 약한 supervision 접근 방식에 비해 순차적 음악 패턴 학습 과제에서 모델이 성능을 뛰어넘는가?
• RQ5 명시적인 세그먼트 순서 지도 없이도 모델이 음악의 의미 있는 시간적 구조를 학습할 수 있는가?

주요 결과

• 제안된 유사도 임베딩 네트워크(Similaritiy Embedding Network, SEN)는 음악 조각 맞추기, 음악 순서 정렬, 음악 메들리 과제를 포함한 모든 평가 과제에서 뛰어난 성능을 달성한다.
• 특히 난이도가 높고 복잡한 환경에서 SEN은 오디오 조각의 정확한 시간적 순서를 더 잘 식별하는 데서 경쟁 모델을 능가한다.
• 자기지도 학습을 통한 음악 퍼즐 게임 과제는 인간이 애너테이션한 순서 레이블 없이도 의미 있는 음악 순차적 패턴을 학습시킬 수 있도록 효과적으로 모델을 훈련시킨다.
• 문단 수준의 유사도 임베딩 메커니즘은 공유된 임베딩 공간에서 정확한 쌍과 잘못된 쌍을 식별하는 데 모델의 능력을 크게 향상시킨다.
• 모델는 퍼즐 게임의 다양한 난이도 수준에서 잘 일반화되며, 강건성과 확장성을 보여준다.
• 성공적인 메들리 재구성 결과를 포함한 예시 결과는 프로젝트 웹사이트에서 공개되어 있다.