[논문 리뷰] A Bi-Directional Transformer for Musical Chord Recognition

Jonggwon Park, Kyoyun Choi외 3명|arXiv (Cornell University)|2019. 07. 05.

Music and Audio Processing참고 문헌 31인용 수 7

한 줄 요약

이 논문은 음성 시퀀스의 장기적 의존성을 별도의 특징 추출기나 디코더 없이 자기주의(self-attention)를 활용해 포착하는 양방향 트랜스포머 모델(BTC)을 제안한다. BTC는 단일 학습 단계에서 경쟁적인 성능을 달성하며, 주목경로(attention maps)는 관련된 카드 세그먼트에 적응적으로 집중하고 장거리 맥락을 효과적으로 모델링할 수 있음을 보여준다.

ABSTRACT

Chord recognition is an important task since chords are highly abstract and descriptive features of music. For effective chord recognition, it is essential to utilize relevant context in audio sequence. While various machine learning models such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been employed for the task, most of them have limitations in capturing long-term dependency or require training of an additional model. In this work, we utilize a self-attention mechanism for chord recognition to focus on certain regions of chords. Training of the proposed bi-directional Transformer for chord recognition (BTC) consists of a single phase while showing competitive performance. Through an attention map analysis, we have visualized how attention was performed. It turns out that the model was able to divide segments of chords by utilizing adaptive receptive field of the attention mechanism. Furthermore, it was observed that the model was able to effectively capture long-term dependencies, making use of essential information regardless of distance.

연구 동기 및 목표

• 자동 카드 인식을 위한 음악 카드 시퀀스에서 장기적 의존성을 포착하는 데 도전하는 것.
• HMM이나 CRF와 같은 별도의 특징 추출 또는 시퀀스 디코딩 모듈이 필요 없는 통합형 엔드 투 엔드 모델을 개발하는 것.
• 음성에서 카드 전환과 세그먼트 경계를 모델링하는 데 자기주의 메커니즘이 효과적인지 입증하는 것.
• 어떻게 트랜스포머 모델의 주목경로 메커니즘이 카드 인식을 위해 관련된 시간 세그먼트를 국소화하고 집중하는지 시각화하고 분석하는 것.

제안 방법

• 모델는 자기주의 메커니즘을 사용해 시간에 따라 확장되는 맥락적 관계를 포착하는 양방향 트랜스포머 아키텍처를 채택한다.
• 입력 특징은 음성 신호의 시간-주파수 표현을 제공하는 일정-Q 변환(CQT)에서 유도된다.
• 다중 헤드 자기주의를 사용해 모든 시간 프레임 간의 주목경로 가중치를 계산함으로써, 동적으로 관련 세그먼트에 집중하는 적응형 수신장(receptive field)을 가능하게 한다.
• 추가 디코딩 헤드나 후처리 없이, 트랜스포머의 마지막 레이어에서 직접 카드 예측을 생성한다.
• 추론 중 모델이 다양한 시간 프레임에 어떻게 주목하는지 분석하기 위해 주목경로를 시각화한다. 이는 레이어별 주목경로 패턴을 드러낸다.
• 복잡한 사전학습이나 보조 모델 없이, CQT 특징과 참값 카드 레이블을 사용해 엔드 투 엔드로 단일 단계에서 학습한다.

실험 결과

연구 질문

• RQ1 자기주의 기반 트랜스포머 모델은 순환성이나 컨볼루션 없이도 음악 카드 시퀀스에서 장기적 의존성을 효과적으로 포착할 수 있는가?
• RQ2 트랜스포머의 양방향 주목경로 메커니즘이 음성에서 관련 카드 세그먼트와 경계를 식별하는 데 어떻게 기여하는가?
• RQ3 제안된 BTC 모델은 CNN 및 RNN과 같은 전통적 모델에 비해 카드 인식 정확도와 학습 간편성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 트랜스포머 모델의 주목경로 메커니즘이 카드 인식에서 의미 있는 패턴(예: 세그먼트 분할 및 특징 집중)을 드러내는 데 해석 가능할 수 있는가?

주요 결과

• BTC 모델은 단일 학습 단계만 요구함에도 불구하고 CNN+CRF 및 CRNN+CRF와 같은 최신 기술 수준의 모델과 경쟁적인 성능을 달성한다.
• 주목경로 분석 결과, 모델은 레이어를 거치며 점차 수신장이 넓어지며, 초기에는 국소 맥락에서 시작해 의미적으로 관련된 세그먼트에 집중하는 방식으로 진화한다.
• 자기주의의 적응형 수신장 기반으로 카드 시퀀스가 효과적으로 분할되며, 중간 레이어에서 높은 주목경로를 보이는 직사각형 영역을 통해 이를 입증할 수 있다.
• 최종 레이어의 주목경로 맵은 정확한 카드 경계와 밀도 있게 일치하며, 시간적 거리에 관계없이 핵심 정보에 집중하는 것을 보여준다.
• 카드가 겹치는 음을 공유하는 경우(예: G와 B:min)와 같이 모호성이 있는 경우, 다중 헤드 주목경로가 잘못된 연결을 억제하고 주목경로 앙상블을 통해 정확한 예측을 이끌어낸다.
• 효과적이지만, 높은 유사도를 가지는 카드 쌍(예: A와 F#:min)을 처리하는 데에는 때로 실패함으로써, 고유사도 카드 쌍 처리에 한계가 있음을 시사한다.